Сравнение скорости загрузки большого массива данных из табличного документа с помощью Microsoft EXCEL через COM и с помощью платформы 1С 8.х

24.09.19

Интеграция - Загрузка и выгрузка в Excel

–1

Тестирование COM MS Excel на сервере 1С и нативное чтение табличных документов в 1С.

Скачать исходный код

	Наименование	Файл	Версия	Размер
	ТестированиеРаботыMSExcel .epf 7,19Kb 1	.epf	8.3.14.1565	7,19Kb	1	Скачать

Решил развенчать мифы по поводу "тормознутости" технологии COM при работе с Microsoft Excel и оперировании большими объемами данных.

Большими объемами данных в данном случае будет считаться матрица 50к х 20 элементов, т.е. 1Миллион элементов.

Для этого была создана простейшая обработка (проверена на платформе 8.3.14.1565), которая один и тот же табличный файл может читать как с привлечением MS Excel на клиенской машине, так и с помощью нативной возможности платформы 1С 8.х, появившейся уже достаточно давно.

Итак, первым в забеге был MS EXCEL.

Т.к. тест проводился в клиент-серверной базе, и на сервере приложения 1С не установлен MS Excel, то в данном случае придется передавать большой объем данных с клиента 1С на сервер 1С.

Результаты теста следующие:

Выделенные строки - это ЧИСТОЕ время формирования ТЗ на 1миллион значений. Чистое время составляет 0.785961 секунды. Время получения самого массива данных из MS Excel в 1С:

Т.е. 0.557474 секунды.

ИТОГО: 0.595377(создание COM-объекта MS EXCEL) + 0.472448(открытие файла) + 0.785961 + 0.557474 = 2.41126 секунды.

Время на передачу массива между клиентом и сервером не считаем, т.к. на сервере 1С установлен MS Excel.

Вторым был нативный метод чтения табличных документов платформой 1С.

Т.к. тест проводился в клиент-серверной базе, в данном случае придется передавать сам файл с клиента 1С на сервер 1С. Время передачи файла - 0.770753 секунды.

Результаты теста следующие:

Выделенные строки - это ЧИСТОЕ время формирования ТЗ на 1миллион значений. Чистое время составляет 22.394099 секунд.

ИТОГО: 0.770753(время на передачу файла с клиента 1С на сервер 1С) + 15.752302(время на чтение табличного документа из файла) + 22.394099 секунд = 38.917154 секунды.

Внимательный читатель спросит: "почему при чтении через COM не учитывается время на передачу файла с клиента 1С на сервер?"

Ответ: Вносим корректировки в результаты.

Вариант1:

ВремяПередачиФайлаСКлиентаНаСервер = 0.770753 секунды

ОбщееВремяФормированияТЗ = 2.41126 секунды

Итого: 0.770753 секунды + 2.41126 секунды = 3.182013 секунды

Мораль сей басни такова: не стесняйтесь использовать Microsoft Excel на сервере 1С - это ЗАМЕТНО увеличивает скорость выгрузки/загрузки данных в/из табличных документов.

COM MS EXCEL 1C Сервер Загрузка Выгрузка Большие массивы данных

–1

См. также

Загрузка номенклатуры из Excel в УТ11, КА 2, ERP 2, Розница 2. Дополнительные реквизиты и сведения, характеристики, картинки, цены, остатки

Загрузка и выгрузка в Excel Розничная торговля Логистика, склад и ТМЦ Ценообразование, анализ цен Прайсы Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Розница 2 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Управленческий учет Платные (руб)

Загрузка из файлов xls, xlsx, ods, csv, mxl в УТ11, КА 2, ERP 2, Розница 2. Задействованы все возможности конфигурации - заполнение реквизитов номенклатуры, дополнительных реквизитов и сведений, характеристики, доп.реквизиты и сведения характеристик. Дополнительные обработки для расширения возможностей.

10560 руб.

29.10.2014 211180 630 526

446

Загрузка данных о продажах WildBerries из API Статистики и Отчетов в формате *.xlsx в документ "Отчет комиссионера"

Загрузка и выгрузка в Excel Маркетплейсы Платформа 1С v8.3 Бухгалтерский учет Оперативный учет 1С:Управление торговлей 10 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Платные (руб)

Обработки предназначены для следующих конфигураций: Бухгалтерия предприятия, редакция 3.0; Управление нашей фирмой, редакция 3.0; Управление торговлей, редакция 10.3; Управление торговлей, редакция 11

4800 руб.

11.12.2019 54527 964 3

221

Загрузка номенклатуры c картинками (несколько потоков одновременно) и сопутствующими данными в базу и любые документы из yml, xls, xlsx, xlsm, ods, ots, csv для УТ 10.3, УТ 11 (все), БП 3, КА 2, ERP 2, УНФ 1.6/3.0, Розница 2

Загрузка и выгрузка в Excel Логистика, склад и ТМЦ Ценообразование, анализ цен Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Эволюция не стоит на месте - новая удобная версия функциональной обработки для Вашего бизнеса! Что же Вы получаете? Удобный и интуитивно понятный интерфейс с 3-мя этапами работы. 2 режима - автоматический и ручной. Чтение XLSX, XLSM, CSV, XML/YML форматов без офиса, на любом сервере! Визуальное связывание колонок файла и реквизитов простым перетаскиванием колонок. Создание или обновление номенклатуры с иерархией, характеристик, доп. реквизитов, упаковок, загрузка практически неограниченного количества картинок на одну номенклатуру (с возможностью загрузки в несколько потоков одновременно), с хранением в томах или в базе. Загрузка номенклатуры поставщиков или поиск по их данным номенклатуры. Загрузка доп. реквизитов в характеристики. Загрузка штрихкодов с генерацией новых. Создание элементов справочников и ПВХ "на лету" для выбранных реквизитов. (Обновление от 09.04.2024, версия 9.9 - 9.10)

14400 руб.

20.11.2015 151396 366 376

502

Загрузка данных о продажах ОЗОН из API Ozon и Отчетов в формате *.xlsx в документ "Отчет комиссионера"

Загрузка и выгрузка в Excel Маркетплейсы Платформа 1С v8.3 1С:Управление торговлей 10 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Управленческий учет Платные (руб)

4800 руб.

26.11.2020 37610 680 4

179

Маркетплейсный загрузчик для 12-ти маркетплейсов в 1С:БП 3, УТ 11, КА 2, ERP, УНФ

Загрузка и выгрузка в Excel Маркетплейсы Платформа 1С v8.3 Бухгалтерский учет 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Бухгалтерский учет Управленческий учет Платные (руб)

Реальный помощник, с помощью которого Вы сделаете необходимые документы для Wildberries, OZON, ЯндексМаркет, Мегамаркет, Aliexpress, "Детский мир", Казань-Экспресс, "Леруа Мерлен", ЭНФАНТА (Акушерство), ЛаМода, Летуаль, "Твой дом" в документы "Отчет комиссионера (агента) о продажах" и другие, может работать в "Бухгалтерия 3", "Бухгалтерия 3 КОРП", УТ 11, УНФ, КА 2, ERP. Возможность подключить любые маркетплейсы. Анализ продаж ОЗОН. 30 дней БЕСПЛАТНОГО пользования!

1800 руб.

12.08.2021 32300 242 64

122

SALE! 30%

Распознавание и загрузка сканов в 1С "одним нажатием": УПД, ТОРГ-12, накладные, счета, номенклатура, заказы и т.д.

Загрузка и выгрузка в Excel Документооборот и делопроизводство (СЭД) Учет документов Распознавание документов и образов Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление холдингом 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Управленческий учет Платные (руб)

Универсальная программа для распознавания ЛЮБЫХ СКАНОВ ИЛИ ФОТО ТОВАРНЫХ ДОКУМЕНТОВ в 1С. Не требует указания параметров и предварительной настройки. Просто выбираете файл (PDF, JPG, DOC, XLS, HTML и т.д.) выбираете документ 1С и нажимаете кнопку "Распознать и загрузить".

~~6000~~ 5520 руб.

04.06.2019 101835 300 173

314

SALE! 20%

Загрузка документов и номенклатуры из Excel в 1С "одним нажатием": УПД, ТОРГ-12, отчеты маркетплейсов, заказы, счета, прайсы

Загрузка и выгрузка в Excel Оптовая торговля Платформа 1С v8.3 Управляемые формы Платформа 1C v8.2 Конфигурации 1cv8 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Управленческий учет Платные (руб)

Универсальная обработка для загрузки документов из Excel в 1С. Не требует указания параметров (номера колонок, номер первой строки таблицы и т.д.) и предварительной настройки. Просто выбираете файл Excel, документ 1С и нажимаете кнопку "Загрузить". Обработка сама находит таблицу в файле Excel, необходимые для загрузки данные в ней (номенклатура, количество, НДС, цена, сумма) и загружает ее в 1С. Вместе с номенклатурой может найти контрагента, номер и дату документа, штрих-коды, серии ГТД, страну и т.д. Распознает документы ЛЮБОЙ ФОРМЫ (УПД, ТОРГ-12, заказ, отчет комиссионера и т.д.). Не требует MS Office. Для поиска таблиц используются методы эвристического поиска. Загружает только то, что нужно, т.е. пропускает повторы шапки таблицы, заголовки, промежуточные итоги, подписи и т.д. Содержит модуль работы с электронной почтой и api-загрузчик отчетов о продажах маркетплейсов.

~~5000~~ 4000 руб.

09.11.2016 215865 932 886

942

Загрузка данных отчета о реализации товаров из Excel файла СберМегаМаркет

Загрузка и выгрузка в Excel Маркетплейсы Платформа 1С v8.3 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Управление нашей фирмой 3.0 Бухгалтерский учет Управленческий учет Платные (руб)

Загрузка данных отчета о реализации товаров из сервиса СберМегаМаркет для конфигурации: Бухгалтерия предприятия, редакция 3.0; Управление торговлей, редакция 11 и Управление нашей фирмой, редакция 3.0 в документ "Отчет комиссионера (агента) о продажах".

4800 руб.

07.06.2022 15378 82 0

Комментарии

Подписаться на ответы Инфостарт бот

Свернуть все

1. Abris9 23 08.09.19 09:41 Сейчас в теме

медленный в том случае, если считывать по ячейкам (через Cell), а если через COMSafeArray - то быстро.

2. CheBurator 3119 08.09.19 10:18 Сейчас в теме

а с использованием ADO?

3. nomad_irk 72 08.09.19 10:33 Сейчас в теме

(2)ADO использует тот же COM, только умеет работать с массивами.

4. kirillkr 29 09.09.19 12:02 Сейчас в теме

(0), если можно код приведите чтения средствами платформы. Что-то ощущение, что происходили какие-то ненужные операции в цикле, которые совсем не нужны.

6. nomad_irk 72 09.09.19 12:41 Сейчас в теме

(4) Перезамерил время. Вот так более информативно.

5. nomad_irk 72 09.09.19 12:19 Сейчас в теме

(4)Ничего там не используется, кроме тупого перебора всего миллиона ячеек, в отличие от варианта с MS Excel.

7. kirillkr 29 09.09.19 14:43 Сейчас в теме

(5), очень странно.. Я понял, что я был не прав в первом случае про циклы, т.к. не учел что надо перевести еще данные в ТЗ. Но можете попробовать тот же фокус с форматом xlsx? На сколько будет отличаться скорость чтения.

8. nomad_irk 72 09.09.19 15:08 Сейчас в теме

(7) Да без разницы.

обойти миллион значений - ДОЛГО в любом случае.

Для того, что бы было быстро, ТабДок должен уметь делать

МассивЗначений = ТабДок.Область(НачальнаяСтрока, 1, КонечнаяСтрока, 1).Значение;

МассивМассивовЗначений = ТабДок.Область(НачальнаяСтрока, 1, КонечнаяСтрока, КонечнаяСтрока).Значение;

Пока этого не будет - MS Excel будет вне конкуренции.

Причем МассивМассивов должен содержать в себе массивы по колонкам, а не по строкам, как это делает Ado.Recordset и OpenOffice/LibreOffice.

9. Sashares 34 23.09.19 15:15 Сейчас в теме

Немного не корректно в статье указаны замеры чтения для COM, если сравнивать с чтением через табличный документ.

Вы либо включите в замер создание ком объекта, а также всю работу с ком объектом в первый замер, либо из второго уберите ТабличныйДокумент.Прочитать().

На результат конечно это особо не повлияет, платформа читает дольше, но хотя бы сравниваться будут одинаковые действия.

10. nomad_irk 72 24.09.19 11:01 Сейчас в теме

(9) Время на создание COM-объекта и открытие файла было добавлено в самом конце в количестве 1 секунды на все.
Переделал, добавил это время во время формирования ТЗ.

11. SlavaKron 24.09.19 11:37 Сейчас в теме

Не корректно измерять производительность цикла в миллион итераций в режиме отладки. Отключите отладку. Используйте ТекущаяУниверсальнаяДатаВМиллисекундах() в коде. Для чистоты эксперимента цикл запишите в строку.

12. nomad_irk 72 24.09.19 12:32 Сейчас в теме

(11)Вы серьезно считаете, что все эти меры драматически ускорят процесс чтения 1М ячеек циклом 1С?
Хорошо. Вот результаты:

Время расчитывалось вот так:

Как было ~10-кратное превосходство, так и осталось.

13. Sashares 34 24.09.19 12:46 Сейчас в теме

(12)На 8.3.16 пробовали?
Тут пишут, что оптимизировали потребление памяти в табдоке.
https://dl03.1c.ru/content/Platform/8_3_16_869/1cv8upd_8_3_16_869.htm#2c7299b4-8dd0-11e9-8371-0050569f678a

Может он и работать побыстрее будет.

14. nomad_irk 72 24.09.19 12:54 Сейчас в теме

(13) Да проблема не в памяти вообще, оно не может быстрее работать, потому что 1М итераций в любом случае выполнить придется, в отличии от 50к итераций в случае MS EXCEL. Если бы ТЗ умела как массив создаваться сразу с определенным количеством строк, то и этих 50к итераций не было бы.
Как только платформа 1С научится работать с ТабДоком, как это делает MS EXCEL(см. (8)), так про EXCEL можно забыть сразу же.

У меня пока нет тестового сервера 8.3.16 версии. Пробовал на 8.3.14.1565.

15. Sashares 34 24.09.19 13:01 Сейчас в теме

(14)

1М итераций в любом случае выполнить придется

Это на самом деле не важно сколько итераций.
Не всем и не всегда надо грузить файл с размером 50к х 20.

Замедление наблюдается при получении значений свойств табдока и его областей.
Если в платформе починили работу с памятью, может и работать будет быстрее.
Как само чтение, так и обращение к нему.

16. nomad_irk 72 24.09.19 13:05 Сейчас в теме

(15)В данном конкретном случае как раз таки ОЧЕНЬ важно общее количество итераций, т.к. значения из ТабДока можно получить ТОЛЬКО обходом ВСЕХ нужных ячеек, в случае с MS EXCEL - это вообще не так, там 1М ячеек обходится за 50к итераций и то ТОЛЬКО для того, чтобы сформировать нужное количество строк в итоговой ТЗ.

17. Sashares 34 24.09.19 13:13 Сейчас в теме

(16)
Отличие MS EXCEL и чтения через таб.док я понимаю.
Речь не о данный конкретный случай.
У меня много задач по работе с таб.доком.
Поэтому было интересно, какие будут результаты вашего теста на 8.3.16, по сравнению с замерами в статье.

22. SlavaKron 24.09.19 17:29 Сейчас в теме

(12) Правда ваша.

18. nomad_irk 72 24.09.19 13:17 Сейчас в теме

Я могу на своей рабочей машине протестировать в файловом варианте, если вы такой результат будете считать удовлетворительным.

19. Sashares 34 24.09.19 13:20 Сейчас в теме

(18)Если несложно, было бы хорошо=)

20. nomad_irk 72 24.09.19 13:34 Сейчас в теме

(19) Как-то так:

21. Sashares 34 24.09.19 13:47 Сейчас в теме

(20)Спасибо

23. Nikola23 698 09.04.20 14:59 Сейчас в теме

Коллега, а у вас на сервере таки установлен или не установлен Excel?
И как наличие отсутствие оного связано с отсутствием подсчетов времени передачи с клиента на сервер?

Меня улыбает желание некоторых учить "как правильно", при неумении замечать огрехи у себя)

https://prnt.sc/rw2z3e

Засим позвольте кидание помидорами завершить.

24. nomad_irk 72 09.04.20 15:01 Сейчас в теме

(23) Если не понятно, то во время тестирования MS EXCEL на сервере 1С установлен не был, поэтому все так как описано.

26. Nikola23 698 09.04.20 15:05 Сейчас в теме

(24) Не, не, это у вас в рамках одного кейса то стоит, то не стоит.
Потому и не понятно.

А "если пользователю непонятно, то это ошибка архитектора, а не пользователя".

25. Nikola23 698 09.04.20 15:04 Сейчас в теме

Не, не сумел остановиться)
Ваш пример, вероятно, отражает только ваш опыт.

А вот в моем, платформа 1с падала при попытках прочитать файл средствами Excel либо зависала намертво.
А вот нативно - пережевывала и ничего.

Полагаю для наполнения статьи качеством - следует проверять больше различных массивов.
Да и Эксели у всех разные...

Размеры данных - приблизительно 350 000 строк и 47 колонок.
Это всего лишь заказы за 2 года в компании с оборотом чуть больше миллиарда.