Разбор XML Документа с помощью XDTO, без использования XDTO-пакетов и XML-схем (для очень ленивых)

14.11.15

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

Как разобрать XML Документ с помощью XDTO без изменений в конфигурации, без XML-схем данных, и при этом не выпасть с ошибкой "не достаточно памяти" ? Тем более что вам этот XML Документ нужно считать разово.

Скачать файлы

Наименование Файл Версия Размер
Обработка по Чтению XML и тестовый файл XML
.zip 16,31Kb
44
.zip 1 16,31Kb 44 Скачать

          Освоив однажды простое последовательное чтение XML, для одноразового считывания XML файлов, я не прибегал к каким то другим способам, до того пока мне не встретилась задача по загрузке данных из "Бешеного" файла.

          Задача состояла в том чтоб прочитать одноразово данные выгруженные с сайта (там клиент в течении нескольких лет заполнял описания товара и картинки и т.д. благо синхронизировать можно было по УИД-у) И затянуть их в базу, после чего забыть за эту обработку. И мне не захотелось писать кучу проверок, тем более в этом файле очень часто повторялись имена вложенных узлов, которые обозначали разные поля объекта. Пересмотрев статьи посвященные чтению XML, я пошел по пути наименьшего сопротивления и пришел к XDTO. В основном меня вдохновляла статья от svenderevsky. И на тестовых данных все даже прекрасно заработало, и можно было бы на этом успокоиться и не было бы необходимости создавть эту статью, но как правильно было подмечено Armando все к той же статье, я тоже процитирую:

ИТС: Оптимизация использования оперативной памяти:
Недопустимо работать с большими XML документами с помощью объектов встроенного языка, предназначенных для обработки файлов целиком: текстовые документы в ТекстовыйДокумент, XML в ДокументDOM и HTML в ДокументHTML, а также создавать в памяти XDTO-пакеты размером с весь XML-файл целиком.

В противном случае, весь файл загружается в оперативную память целиком. Исключения составляют отдельные случаи, когда необходим произвольный доступ к содержимому файла, к какой-то конкретной его части.

Следует использовать объекты для последовательной записи и последовательного чтения: ЧтениеXML, ЧтениеТекста, ЗаписьXML, ЗаписьТекста, с помощью которых можно прочитать файл порциями и расходовать память экономно.

При использовании механизмов XDTO неправильно зачитывать в память весь XML-файл целиком (ФабрикаXTDO.ПрочитатьXML(ЧтениеXML)). Вместо этого следует зачитывать XML-файл последовательно, с помощью объекта ЧтениеXML, а его отдельные фрагменты (теги) десериализовывать с помощью фабрики XDTO.

... я как и полагается уже на файле в 300 МБ, уверенно нащупал стандартное 1С-кое "Не достаточно памяти" и аут... Убедился на практике что в XDTO пихать весь файл не хорошо. Но вернусь к цитате с ИТС-а, в ней ведь есть часть ответа, что делать и как. И я вот не нашел реального примера, который бы был прост, без использования XDTO-пакетов, XML-схем и в то же время отвечал требованиям 1С в части оптимизации использования оперативной памяти. И пришлось немного подумать и вот что из этого вышло:

 

          В этом примере XML документ начинает разбираться обычным чтением, пока не дойдет до нужного узла. Этот узел как раз представляет искомый объект, в нашем случае это Номенклатура ( далее как в XML-файле "ПРЕДЛОЖЕНИЕ") и далее файл разбирается уже по узлам, последовательно. Одно предложение за другим. В каждом из предложений, я уже получаю разделенные данные, относящиеся именно к этому объекту(предложению). Скорость работы: 29 000 предложений (а одно предложение содержит кучу реквизитов и свойств часть из них видно на первом скриншоте) на средненьком ноутбуке были разобраны за 1,5 минуты.

В приложенном файле лежат: Обработка - пример читающая данные по вышеописанному алгоритму и XML файл пример содержащий 10 позиций для того чтоб можно было протестировать обработку, и посмотреть более детально на все в отладчике. Обработка писалась под платформой 8.2 для обычных форм.

PS

Возможно, посчитаете это извращением, возможно нет. Оставляйте пожалуйста свое мнение, интересно узнать может этот путь можно было пройти по другому.

XML XDTO Загрузка

См. также

SALE! 15%

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 22572 руб.

12.06.2017    134934    722    291    

388

SALE! 20%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

34650 27720 руб.

15.04.2019    68417    178    138    

111

SALE! 20%

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

43450 34760 руб.

03.12.2020    34169    80    58    

78

SALE! 10%

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 25200 руб.

23.07.2020    46292    196    64    

158

Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Обмен между базами 1C Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

60000 руб.

05.10.2022    9208    9    8    

10

SALE! 10%

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.223.x) и БП 3.0 (3.0.149.x). Правила подходят для версии ПРОФ и КОРП.

28000 25200 руб.

15.12.2021    20247    132    38    

90

SALE! 10%

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6. Переносятся остатки, документы и справочная информация

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

В продаже с 2018г. | Воспользовались более 41 предприятия! | Правила конвертации (КД 2) для переноса данных из БП 3 в УНФ | Переносятся все виды документов, начальные остатки и вся возможная справочная информация | Есть фильтр по организациям | Оперативно обновляем на новые релизы | Оказываем техподдержку | В комплект файлов входит инструкция, авторская версия обработки "Универсальный обмен...", актуальные правила переноса данных и архив старых версий переноса | Учет в БП 3 должен быть корректным, некорректные данные не переносятся | Можно бесплатно проверить на вашем сервере до покупки!

50722 45650 руб.

10.07.2018    67445    41    122    

46

Загрузка номенклатуры c картинками (несколько потоков одновременно) и сопутствующими данными в базу и любые документы из yml, xls, xlsx, xlsm, ods, ots, csv для УТ 10.3, УТ 11 (все), БП 3, КА 2, ERP 2, УНФ 1.6/3.0, Розница 2

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 11.12.2023, версия 9.5 - 9.9)

13200 руб.

20.11.2015    150720    367    375    

501
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Константин С. 665 16.11.15 10:46 Сейчас в теме
Вот что за жлобство, выкладывать Код виде картинки.
LCLNN; dj_serega; +2 Ответить
2. TESL 107 16.11.15 11:46 Сейчас в теме
(1) Константин С., Доброго времени суток, в этом примере не более 10 ключевых строк кода, которые набрать даже очень начинающему программисту не составит труда. Цель статьи - донести идею.
3. Константин С. 665 16.11.15 12:26 Сейчас в теме
(2) а понятно вы строник развития мелкой моторики
4. rozer 306 16.11.15 14:05 Сейчас в теме
(3) Константин С., а у кого не развита мелкая моторика тому и стартмани не жалко )
Den_D; TESL; +2 Ответить
5. Evil Beaver 8107 16.11.15 18:09 Сейчас в теме
XML в 1С вообще сделан очень интересно (на мой субъективный взгляд)

У нас есть объекты-источники (ЧтениеXML, FastInfoset, ЧтениеУзломDOM) и объекты-приемники (ЗаписьXML, ЗаписьУзловDOM и т.п.) Так вот, вы можете гонять XML-потоки между любыми этими объектами, каждый из них имеет свое состояние - позицию внутри потока XML. Именно этот способ вы и описали в статье.

Но это лишь одна из возможностей. Вы, например, можете скидывать кусочки XML в DOM, считывая их из файла, либо получая в виде XDTO-объекта в веб-сервисе... Короче, их можно комбинировать как угодно. И да уйдет в прошлое гадкая практика чтения XML по принципу "запихать в ОЗУ все за один раз, словить нехватку памяти, обвинить в этом 1С".

P.S. Обратите внимание на метод "ЗаписатьТекущий" у объектов-приемников.
TESL; CratosX; MRAK; artbear; +4 Ответить
6. zerg17 24.11.16 16:19 Сейчас в теме
На >ОписаниеНом = ОбXDTO.ЗначенияСвойств.ЗначенияСвойства.Получить(40).Значение;
ругается: Поле объекта не обнаружено (ЗначенияСвойств)
Там в вашем примере просто описание товара? (По другому xml-файлу пытаюсь прочитать).
7. zerg17 24.11.16 17:26 Сейчас в теме
Оставьте свое сообщение