Обмен данными между информационной базой и мобильным клиентом

04.08.14

Интеграция - Файловый обмен (TXT, XML, DBF), FTP

В каком формате передавать данные между информационной базой на сервере и мобильным клиентом.
Добрый день.

Хочу поделиться моими наблюдениями относительно обмена данными между типовой (или не типовой) информационной базой и базой, расположенной на мобильном клиенте. Основной проблемой такого обмена является размер файла. Во-первых,  веб-сервис (а именно он является наиболее удобным способом обмена) имеет ограничения по размеру. Во-вторых, часть взаимодействия клиент-сервер будет осуществляться посредством мобильного интернета (EDGE, 3G, 4G) и поэтому, время на передачу пакета в 20кб и в 2мб будет различно (не в пользу последнего).

В связи с этим, решил провести пару тестов, которые показали бы производительность и результативность нескольких вариантов подготовки пакетов для обмена.
Исходными данными будет массив ссылок на объекты различного типа (в моем примере было примерно 700000 ссылок на Задачи.Задача, Справочник.Номенклатура, Документ.ВнутреннийЗаказ).

Вариант А:

 1. Сериализуем массив, помещаем в xml.
 2. Архивируем xml.
 
Вариант Б:

 1. Помещаем массив в хранилище значений (без сжатия).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Вариант В:

 1. Помещаем массив в хранилище значений (сжатие 9).
 2. Сериализуем хранилище значений, помещаем в xml.
 3. Архивируем xml.
 
Результаты:
 
Вариант А

 Время сериализации (с): 19.675 (сериализуется массив с 700000 элементами, помещается в xml)
 Время архивирования (с): 2.403 (архивируется полученный xml файл)
 Размер стандартный: 121 129,2кб (размер полученного xml)
 Размер архива: 4 423,4кб (размер архива)

Вариант Б
 
 Время получения хранилища (с): 1.467 (в хранилище помещается массив с 700000 элементами, без сжатия)
 Время сериализации (с): 8.175 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 2.449 (архивируется полученный xml файл)
 Размер стандартный: 78 350,95кб (размер полученного xml)
 Размер архива: 6 807,34кб (размер архива)

Вариант В

 Время получения хранилища (сжатого) (с): 6.147 (в хранилище помещается массив с 700000 элементами, сжатие 9)
 Время сериализации (с): 0.562 (сериализуется хранилище, помещается в xml)
 Время архивирования (с): 0.546 (архивируется полученный xml файл)
 Размер стандартный: 5 293,02кб (размер полученного xml)
 Размер архива: 3 926,88кб (размер архива)
 
Как видно по результатам теста, оптимальным (в плане производительности и размера полученного файла обмена) является вариант В - т.е. сначала помещаем в хранилище значений с сжатием, потом архивируем (хотя на самом деле выигрыш от архивирования не такой уж и большой, пусть даже при минимальных временных затратах).

Этот пример рассматривает отправку данных с сервера на мобильный клиент. Для отправки данных с мобильного клиента на сервер вариант В думаю будет также оптимальным (с учетом того, что вариант А не подходит в принципе, ибо архивирование в мобильном клиенте сейчас недоступно).

 

обмен xml мобильный клиент мобильное приложение веб-сервис web-сервис сжатие формат обмена планы обмена

См. также

SALE! 15%

[ED3] Обмен для ERP 2.5, КА 2.5, УТ 11.5 БП 3.0, Розница, УНФ и других с EnterpriseData (универсальный формат обмена), правила обмена

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Россия Платные (руб)

Правила в универсальном формате обмена для ERP 2.5, КА 2.5, УТ 11.5, БП 3.0, Розница, УНФ, для последних версий конфигураций. Ссылки на другие конфигурации в описании публикации. Правила совместимы со всеми другими версиями конфигураций новыми и старыми, поддерживающими обмен в формате EnterpriseData. Не требуется синхронного обновления правил после обновления другой конфигурации, участвующей в обмене. Типовой обмен через планы обмена кнопкой Синхронизация вручную или автоматически по расписанию, или вручную обработкой.

25080 22572 руб.

12.06.2017    134967    721    291    

388

SALE! 20%

Перенос данных из ERP 2 / КА 2 / УТ 11 в БП 3.0. Переносятся документы, начальные остатки и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Платные (руб)

Перенос данных из ERP в БП 3 | из КА 2 в БП 3 | из УТ 11 в БП 3 | из ЕРП в БП 3 | В продаже с 2019г. | Воспользовались более 176 предприятий! | Сэкономьте время - используйте готовое решение для перехода! | Перенос разработан в формате КД 2 (правила конвертации данных) | Переносятся все возможные виды документов, начальных остатков и нормативно-справочная информация| Можно опционально выгружать каждую пару "номенклатура+характеристика" как отдельную номенклатуру | Есть выгрузка настроек счетов учета и зарплатных данных из ERP / КА 2 | Можно проверить на вашем сервере перед покупкой, обращайтесь!

34650 27720 руб.

15.04.2019    68430    179    138    

111

SALE! 20%

Перенос данных из ERP 2 / КА 2 в ЗУП 3. Переносятся остатки, документы и справочники

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:ERP Управление предприятием 2 1С:Комплексная автоматизация 2.х 1С:Зарплата и Управление Персоналом 3.x Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из ERP в ЗУП 3 | из КА 2 в ЗУП | Воспользовались более 79 предприятий! | Предлагаем приобрести готовые правила конвертации данных (КД 2) для переноса остатков, документов с движениями и справочной информации 3 | В продаже с 2020г. | Оперативно обновляем правила до актуальных релизов 1С | Есть перенос начальной задолженности по зарплате и начальной штатной расстановки на выбранную дату | Обороты за прошлые годы (данные для расчета среднего) переносятся свернуто в документ "Перенос данных" | Есть фильтр по организациям | Документы за текущий период переносятся сразу с движениями, поэтому не потребуется делать перерасчеты | Перенос можно проверить перед покупкой, обращайтесь!

43450 34760 руб.

03.12.2020    34176    80    58    

78

SALE! 10%

Перенос данных из УТ 10.3 в УТ 11.5. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 Оперативный учет 1С:Управление торговлей 10 1С:Управление торговлей 11 Россия Управленческий учет Платные (руб)

Перенос данных из 1С:Управление торговлей 10.3 в 1С:Управление торговлей 11.5 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УТ 10.3 (10.3.87.x) и УТ 11.5 (11.5.16.x).

28000 25200 руб.

23.07.2020    46315    196    64    

158

Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Обмен между базами 1C Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

60000 руб.

05.10.2022    9217    9    8    

10

SALE! 10%

Перенос данных из УПП 1.3 в БП 3.0. Переносятся документы (обороты за период), справочная информация и остатки

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление производственным предприятием 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Управленческий учет Платные (руб)

Перенос данных из 1С:Управление производственным предприятием 1.3 в 1С:Бухгалтерия предприятия 3.0 с помощью правил обмена. Переносятся остатки, документы (обороты за период), справочная информация. Правила проверены на конфигурациях УПП 1.3 (1.3.223.x) и БП 3.0 (3.0.149.x). Правила подходят для версии ПРОФ и КОРП.

28000 25200 руб.

15.12.2021    20260    132    38    

90

SALE! 10%

Перенос данных из БП 3.0 в УНФ 3.0 / УНФ 1.6. Переносятся остатки, документы и справочная информация

Обмен между базами 1C Файловый обмен (TXT, XML, DBF), FTP Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия 3.0 1С:Управление нашей фирмой 3.0 Россия Платные (руб)

В продаже с 2018г. | Воспользовались более 41 предприятия! | Правила конвертации (КД 2) для переноса данных из БП 3 в УНФ | Переносятся все виды документов, начальные остатки и вся возможная справочная информация | Есть фильтр по организациям | Оперативно обновляем на новые релизы | Оказываем техподдержку | В комплект файлов входит инструкция, авторская версия обработки "Универсальный обмен...", актуальные правила переноса данных и архив старых версий переноса | Учет в БП 3 должен быть корректным, некорректные данные не переносятся | Можно бесплатно проверить на вашем сервере до покупки!

50722 45650 руб.

10.07.2018    67455    41    122    

46
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. DitriX 2091 04.08.14 18:00 Сейчас в теме
Что есть такое архивирование? Видь сжатие хранилища это тоже архивирование.
Какую степень сжатия на каком этапе использовали?
2. spezc 782 04.08.14 19:16 Сейчас в теме
(1) DitriX, вы правы. Сжатие данных при помещение в хранилище значений и ЗаписьZipФайла используют общий алгоритм сжатия данных "Deflation". Дополнительное использование ЗаписьZipФайла приведено для сравнения - видно, что даже после сжатия в варианте В ЗаписьZipФайла уменьшает размер еще на 20%.

В хранилище значений использовалась максимальная степень сжатия 9. В ЗаписьZipФайла использовалось степень Оптимальная (по умолчанию). Использование в ЗаписьZipФайла максимальной степени сжатия дало увеличения времени сжатия, но фактически не дало выигрыша в размере.
3. DrAku1a 1679 05.08.14 08:40 Сейчас в теме
Подскажите, а какими средствами Вы будете передавать полученный ZIP-файл на мобильное приложение и обратно?
4. spezc 782 05.08.14 17:07 Сейчас в теме
(3) DrAku1a, на самом деле передавать ZIP-файл на мобильное приложение смысла пока нет, ибо там нет средств для распаковки. Соответствено запаковать на мобильном устройстве тоже не получится. Получение ZIP-файла здесь только как пример.

Если же обмен будет проиходить между обычными конфигурациями (есть возможность использовать zip) - то zip-файл можно будет передать в виде двоичных данных.
5. flyer 231 06.08.14 08:50 Сейчас в теме
начиная с версии 8.3.5 мобильной платформы необходимо данные сначала бить на пакеты и только потом их передавать.
6. spezc 782 06.08.14 09:12 Сейчас в теме
(5) flyer, а что вы имеет ввиду под "бить на пакеты"?
7. DitriX 2091 06.08.14 12:58 Сейчас в теме
(6) Вероятно имелся ввиду этот баг:


Передача файлов на веб-сервис
Код ошибки: 10139716
Статус: Исправлена в будущей версии Зарегистрирована: 27.05.2014
Исправлена: "Мобильная платформа", версия 8.3.5

Описание:
На устройстве под управлением ОС Андроид не работает передача больших файлов на веб-сервис.


Она еще не исправлена.
8. spezc 782 06.08.14 12:24 Сейчас в теме
(7) DitriX, я не знал про эту ошибку. Просто в практике встречал что у веб-сервиса встречаются проблемы при попытке пропихнуть через него файлы 50-100мб.

А все-таки, что значить "бить на пакеты"? Какие действия под этим подразумеваются?
9. zelevova 06.08.14 14:09 Сейчас в теме
(5) flyer, а можно про это поподробнее?
10. bydk 06.08.14 11:57 Сейчас в теме
(9) zelevova, приведу фрагмент из Корп версии документооборота, там файлы для обмена делятся на части по 5 мб:
	// Файл с сообщением обмена разделяется на части по 5 Мб для стабилизации передачи на мобильный клиент
	МассивЧастейФайла = РазделитьФайл(ИмяВременногоФайла, 5 * 1024 * 1024);
					
	МассивЧастей = Новый Массив;
	Для Каждого ИмяФайла Из МассивЧастейФайла Цикл
		ДвоичныеДанные = Новый ДвоичныеДанные(ИмяФайла);
		// Каждая часть сообщения максимально сжимается
		МассивЧастей.Добавить(Новый ХранилищеЗначения(ДвоичныеДанные, Новый СжатиеДанных(9) ) );
		УдалитьФайлы(ИмяФайла);
	КонецЦикла;
Показать

ИмяВременногоФайла - это xml файл с данными...
dj_serega; spezc; +2 Ответить
Оставьте свое сообщение