Преобразование 1С->JSON->1С для обменов, Web-сервисов

0. ekaruk 5172 19.10.14 18:02 Сейчас в теме
Небольшая библиотека функций по преобразованию данных из 1С в строку JSON и обратно.
Удобна для обмена данными между двумя базами 1С.
Позволяет преобразовывать в строку и обратно любые типы данных, для которых доступна XML-сериализация + объекты 1С (справочники, документы, ПВХ, ПВР).
Ссылки и объекты при передаче преобразуются из адресного пространства одной базы в адресное пространство другой базы по UID.

Перейти к публикации

Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. vano-ekt 841 20.10.14 11:59 Сейчас в теме
2. ekaruk 5172 20.10.14 12:06 Сейчас в теме
(1) vano-ekt, В 8.3.6 будет всего лишь добавлена возможность потокового чтения,
преобразования простых типов (строка, булево и др). Никаких встроенных функций по преобразованию в JSON типов 1С новшество пока не предусматривает (хотя возможно еще добавят).
Теоретически новая платформа позволит работать с JSON на порядок быстрее,чем при работе со строкой.
Но с точки функционала он не даст ничего, что не было бы уже кем-то реализовано в обработках. Возможности полноценного преобразоваия типов 1С в ней не добавили.
Собственно, это видно в самом анонсе на примере подразделения организации.
Когда появится возможность, я, возможно, поменяю в этой же библиотеке работу со строкой на работу с типами JSON. Но сам интерфейс и принцип работы не изменится абсолютно.
izidakg; Rustig; +2 Ответить
6. Serginio 823 20.10.14 14:42 Сейчас в теме
(2) Можно это реализовать и на нет, предварительно описав классы
http://msdn.microsoft.com/ru-ru/library/bb412179(v=vs.110).aspx

и
http://infostart.ru/public/238584/
11. Rustig 1556 23.10.14 10:49 Сейчас в теме
(1) спасибо за ссылку, интересная информация.
не знаете, статьи "Заметки из Зазеркалья" дублируются в диски ИТС?
Хотелось бы видеть такого рода статьи в разделах ИТС-дисках.
3. vano-ekt 841 20.10.14 12:21 Сейчас в теме
Так я к тому что стоит ли торопиться?)
...
При чтении документы JSON отображаются в фиксированный набор типов платформы: Строка, Число, Булево, Неопределено, Массив, ФиксированныйМассив, Структура, ФиксированнаяСтруктура, Соответствие, Дата.
...
Дальнейшее развитие
Мы думаем над тем, чтобы предоставить вам возможность сериализации в JSON прикладных типов 1С:Предприятия: ссылок, объектов, наборов записей и т.д. Поэтому есть вероятность появления ещё одного, третьего уровня средств работы с JSON. Этот уровень позволит вам преобразовывать в JSON любые типы 1С:Предприятия, для которых поддерживается XDTO-сериализация в XML.
4. ekaruk 5172 20.10.14 12:24 Сейчас в теме
(3) vano-ekt, Так никто и не торопится.
Я просто выложила то, что уже корректно работает на любой платформе.
Дальше посмотрим, что там еще придумают.
5. vano-ekt 841 20.10.14 13:15 Сейчас в теме
(4) ага, быстрее б родили :) при больших нагрузках алгоритм с ИС заметно ресурсы ест :)
8. kser87 2056 20.10.14 23:46 Сейчас в теме
c 8.3.6 Json будет поддерживаться на уровне платформы.
9. vabue 121 22.10.14 09:29 Сейчас в теме
Кто-нибудь тестировал что быстрее в мире 1С, разбор JSON или XML? А генерация?
10. ekaruk 5172 22.10.14 10:55 Сейчас в теме
(9) vabue, Не тестировала. Думаю, на текущий момент в мире 1С быстрее ХМЛ. Просто потому, что 1С работае.т с ним средствами платформы. С JSON работа выполняется как со строкой. Имеет смысл проверять разве что с 8.3.6.
Из плюсов JSON - он компактнее.
vabue; Rustig; +2 Ответить
12. ZLENKO 23.10.14 14:08 Сейчас в теме
(9) vabue, "Кто-нибудь тестировал что быстрее в мире 1С, разбор JSON или XML? А генерация?"

Голосую за XDTO :-) Сериализация мгновенная, десериализация очень быстрая!
Можно десериализацию делать используя неймспейс другой базы для обмена между разными конфигурациями.
14. Serginio 823 23.10.14 18:18 Сейчас в теме
(12) В Мире Net да и вообще сейчас модно использовать protobuf
http://www.forum.mista.ru/topic.php?id=722310#53
dour-dead; vabue; +2 Ответить
51. Teut_Vlad 11.07.19 16:33 Сейчас в теме
52. Serginio 823 11.07.19 16:56 Сейчас в теме
(51) Старая уже. Сейчас в тренде Microsoft Bond
13. a.podobin 23.10.14 18:04 Сейчас в теме
15. vabue 121 27.10.14 22:17 Сейчас в теме
(13) a.podobin, Ну, тут две разных структуры данных. Да и интересовало разработчика именно загрузка на сайт, а не выгрузка из 1С.

(12) ZLENKO.PRO, Есть ли поддержка XDTO в гетерогенных системах? Например, в тех же ESB?

(10) Надо будет провести эксперимент :)
16. bendarik 03.11.14 15:31 Сейчас в теме
А почему не вышло нормально обрабатывать значения с типом "Дата"?
На сколько я понимаю, Вы добавляете тип "Дата" в "СоответствиеХМЛ" и после работаете с ним как с не примитивным типом.

При сериализации у Вас получается избыточная конструкция:

"Период":{
"Type":"Дата",
"UID":"2014-11-03T14:29:06"
}

когда должно быть:

"Период":"2014-11-03T14:29:06"
17. ekaruk 5172 03.11.14 16:30 Сейчас в теме
(16) bendarik, Она не избыточная.
Теоретически у нас может быть текстовое поле, в котором указано значение "2014-11-03T14:29:06".
При сериализации мы должны сохранить его текстом, а не преобразовать в дату.
Такое представление гарантирует идентичность исходных и полученных данных.
18. bendarik 03.11.14 17:16 Сейчас в теме
(17) согласен, что во имя идентичности исходных и полученных данных необходимо дополнительное описание свойств значений НО...

но, к примеру, я использую (де)сериализацию JSON для уменьшения размера передаваемых пакетов при обмене через web-сервисы и было бы ибеально даты обрабатывать как примитивные типы без дополнительного описания типа, т.к. это лишние байтики (мелочь, а приятно).

Например, дату можно было бы сериализовать как и сейчас в формате XML, но без кавычек:
"Период":2014-11-03T14:29:06

К слову, Ваша публикация подтолкнула начитаться и решиться переписать обмены с XML на JSON ;)
20. ekaruk 5172 03.11.14 17:28 Сейчас в теме
(18) bendarik,
"Период":2014-11-03T14:29:06

Именно в таком формате нельзя. Двоеточие это разделитель. Хотя, конечно, какой-то формат можно было подобрать.
Я пошла по простому пути. Думаю, не принципиально.
По переписыванию рекоммендую подождать 8.3.6. Гораздо быстрее будет работать на платформенных механизмах, чем на строковых функциях.
19. bendarik 03.11.14 17:24 Сейчас в теме
(17) Вы аналогично поступаете со значениями типа "булево", записывая их без кавычек как true или false. Вероятно, что дату так же можно считать.

Но лучше попробовать и написать, что вышло
21. Serginio 823 03.11.14 17:31 Сейчас в теме
http://snippets.artvolk.sumy.ua/view/167/daty-v-formate-iso-8601-pri-json-serializacii-v-aspnet-mvc

Сериализатор JSON, используемый в ASP.NET MVC по умолчанию сериализует даты в строки подобного вида:

"\/Date(1299741864000)\/"
Причины подробно объясняются авторами: в спецификации JSON не определён тип данных для даты и времени, а выбранный для ASP.NET MVC формат удобен для JavaScript-клиентов.
bendarik; +1 Ответить
22. Serginio 823 03.11.14 17:41 Сейчас в теме
http://msdn.microsoft.com/ru-ru/library/bb412170(v=vs.110).aspx
Формат DateTime при передаче по линиям связи
Значения типа DateTime представляются строками JSON вида "/Date(700000+0500)/", где первое число (в данном случае 700000) — это число миллисекунд в часовом поясе GMT по обычному (не летнему) времени, прошедшее с 1 января 1970 г. Это число может быть отрицательным для представления более раннего времени. Часть строки "+0500" является необязательной и показывает, что это время в формате Local, т. е. при десериализации оно должно быть преобразовано в местный часовой пояс. Если эта часть строки отсутствует, время десериализуется как Utc. Собственно число (в данном случае "0500") и его знак (+ или -) игнорируются.
При сериализации времен формата DateTime, Local и Unspecified времена записываются со смещением, а время формата Utc записывается без смещения.
JavaScript-код клиента ASP.NET AJAX автоматически преобразует такие строки в экземпляры DateTime JavaScript. При наличии других строк аналогичного вида, не принадлежащих к типу DateTime в .NET, они также преобразуются.
Преобразование происходит только при условии, что символы "/" предваряются escape-знаками (т. е. JSON-фрагмент выглядит так: "\/Date(700000+0500)\/"); по этой причине JSON-кодировщик WCF (реализуемый привязкой WebHttpBinding) всегда предваряет символ "/" escape-знаком.
23. phsin 182 20.11.14 10:56 Сейчас в теме
А для 7.7 есть что-нибудь похожее?
24. Elisy 932 28.11.14 08:00 Сейчас в теме
По скорости, если кому-то интересно. Сериализация Json работает очень медленно по сравнению с XML-сериализацией.
Оптимизация делалась для веб-сайта http://www.oboi.kg
На данных из примерно 5 тысяч записей таблицы значений перевод в XML уменьшил время обработки со 120 секунд (2 минуты) до 4 секунд.
26. ekaruk 5172 28.11.14 11:19 Сейчас в теме
(24) Elisy, (25) Serginio, XML и JSON это всего лишь форматы текстового представления данных.
Скорость работы зависит не от формата, а от используемой для преобразования библиотеки.
Можно найти примеры разницы скорости на ПОРЯДКИ при использовании одних и тех же форматов.
То, что написанная Васей библиотека на PHP для работы с XML в 100 раз быстрее, чем написанная Петей на Python библиотека для работы с JSON, абсолютно ничего не говорит о скорости форматов.
Имеет смысл обсуждать скорости работы библиотек, но не имеет смысла обсуждать скорости форматов.
Фреймворк 1С-Предприятие на текущий момент имеет встроенные библиотеки для работы с XML, поэтому стандартная сериализация в XML через XDTO-типы в любом случае будет быстрее любой JSON-сериализации через строку.
С выходом 8.3.6 можно будет говорить о сравнении скорости стандартных библиотек XML и JSON.
Сейчас обсуждени скорости, на мой взгляд, смысла особого не имеет.
27. Serginio 823 28.11.14 11:40 Сейчас в теме
(26) Не совсем так. Я еще упоминал Protobuf и вот появляются новые форматы например MsgPack http://en.wikipedia.org/wiki/MessagePack
При этом это не всегда текстовая сериализация. Бинарная она и компактнее и быстрее доступ. Например в XML сериализации проблема с циклическими ссылками http://www.forum.mista.ru/topic.php?id=687222#15

поэтому ищутся компактные и более продвинутые форматы.
А в 1С куча чего нет, так что например наполную приходится использовать например Net
28. ekaruk 5172 28.11.14 12:39 Сейчас в теме
(27) Serginio, Разумеется, бинарное представление компактнее текстового.
Но у текстового есть огромное преимущество, которое перекрывает этот недостаток - его можно открыть любым текстовым редактором и просмотреть.
На самом деле для большинства решаемых в 1С задач быстродействие +/- несколько секунд и даже пару минут не критично абосолютно. С учетом постоянных изменений, скорость разработки и простота модификации и поиска ошибок часто важнее, чем быстродействие.
Трата времени на ускорение в несколько секунд путем усложнения кода просто нерентабельна.
29. Serginio 823 28.11.14 12:59 Сейчас в теме
(28) Угу. Помню пришлось переписать универсальный обмен на обмен через сериализацию ОбъектовXDTO . Бывают разные объемы где потери секунд превращаются в часы. Все зависит от задачи. По твоей логике XML сериализация лучше всех, однако приходится писать Json сериализацию, так как нужно общаться с сайтами которые используют именно такой вариант обмена. А затем и для ProtoBuf. Ты можешь считать как угодно, а программисты для высоконагруженных серверов выбирают более быстрые и компактные алгоритмы сериализации. Вот ты уже столкнулась с тем, что при каждом вызове Вэб сервиса 1С происходит инициализация сессии и тебя это напрягает. А представь, что нужно обрабатывать десятки или сотни тысяч обращений в секунду.
30. ekaruk 5172 28.11.14 18:01 Сейчас в теме
(29) Serginio, Есть разные задачи.
Бывает, что критичны и милисекунды. Такие задачи я тоже решала.
Но реально в 95% случаев трата времени разработчика на ускорение просто нерентабельна.
Лучше сделать проще и понятнее, все равно скорее всего через месяц алгоритм менять и все переписывать..
31. Serginio 823 28.11.14 21:32 Сейчас в теме
Я не про то, что лучше для тебя, а то что тебе нужно подстраиваться под других которые и выбирают форматы.
Раньше был XML, затем JSON, сейчас ProtoBuf. Ты же написала парсер не для обмена между своими программами, а для обмена между сайтами сторонних производителей, а вот для них уже свои параметры, что хорошо, а что плохо. А вот, то что через месяц менять алгоритм, это хорошо только на период отладки. А вот например на Net я напишу обмен с 1С для любого алгоритма без всяких затрат времени, так что проблема не во времени, а в квалификации.
32. bendarik 04.12.14 12:55 Сейчас в теме
Сравнил XML и JSON.
JSON молодец, но сжатый XML ни чем не уступает сжатому JSON...

Вот цитата из лекции о сжатии данных:
"В основе алгоритма сжатия (алгоритмы группы KWE) по ключевым словам положен принцип кодирования лексических единиц группами байт фиксированной длины. Примером лексической единицы может быть обычное слово. На практике, на роль лексических единиц выбираются повторяющиеся последовательности символов, которые кодируются цепочкой символов (кодом) меньшей длины. Результат кодирования помещается в таблице, образовывая так называемый словарь."

Я по web-сервису меняюсь двоичными данными и архивирую каждый файл обмена. Такие дела...
33. pitnn 10.12.14 12:17 Сейчас в теме
Добрый день.
Что-то я не разобрался как из JSON-строки получить структуру данных ключ/значение для дальнейшего использования в 1С. Подскажите, пожалуйста
34. ekaruk 5172 10.12.14 12:32 Сейчас в теме
(33) pitnn, Просто пишете UnJSON(<ВашаСтрока>). На выходе будет объект в типах 1С (соответствие или массив, с которыми можно стандартно работать). Сама функция в модуле объекта обработки.
Если объекты 1С (ссылки, документы) не используете, то СоответствиеХМЛ заполнять не нужно вообще. Пусть остается пустым.
35. pitnn 10.12.14 14:51 Сейчас в теме
(34) спасибо за ответ, но в том-то и дело, что не так все просто как описано вами ))). При разборе JSON-строки вылетает ошибка:
"Не удалось преобразовать строку в значение!{ВнешняяОбработка.JSON_1C.МодульОбъекта(213)}: Ошибка при вызове метода контекста (Вставить)
ОбъектСтруктура.Вставить(Ключ,Значение);
по причине:
Задано неправильное имя атрибута структуры".

А связано это вот с чем. При обработке конструкции вида:
[
{
...
"deliveryAddress": {
"": null
},
...
}
]
ключ оказался пустым, что и привело к вызову исключения при добавлении в структуру.
36. ekaruk 5172 10.12.14 15:09 Сейчас в теме
(35) pitnn, Ну, логично. Ключ не может быть пустым. Иначе как 1С его должна в структуру вставить? Вроде стандарты JSON такого не предусматривают. Добавьте свою обработку (ключ по умолчанию или такие значения игнорировать), если у Вас такие данные встречаются.
37. pitnn 10.12.14 15:10 Сейчас в теме
Аналогично с конструкцией вида:
"deliveryAddress": {
"177353": "г. Москва"
},

Тут ключ имеет числовое значение и не может использоваться в структуре
39. ekaruk 5172 10.12.14 15:18 Сейчас в теме
(37) pitnn, А где Вы такие данные нашли?
У меня были похожие проблемы выгрузке в JSON контактной информации для организаций. Там какой-то сложный формат XML хранится.
Не помню точно, как обходила.
В этой обработке http://infostart.ru/public/308563/ я добавляла дополнительные ветки в стандартный разбор. Если у вас передача данные между базами 1С, можете попробовать из неё код взять или просто проверить на своих данных.
40. pitnn 10.12.14 15:23 Сейчас в теме
(39) Сторонний сайт такие данные предоставляет. Я не могу на это влиять, поэтому приходится обрабатывать то, что дают ))
38. pitnn 10.12.14 15:11 Сейчас в теме
А в целом спасибо за обработку
41. uri1978 128 06.02.15 17:47 Сейчас в теме
Спасибо, сильно помогли.
42. Serjeo 106 20.11.15 17:41 Сейчас в теме
В 8.3.7 полностью реализована возможность JSON-сериализации объектов XDTO.
43. AlBelkin 04.03.16 18:34 Сейчас в теме
Здравствуйте! Очень интересная штука. Подскажите, какой версии 1С будет достаточно, чтобы "пощупать" эту библиотеку? Есть демка 1С для обучения http://1c-uroki.ru/articles/download_1C_8.2 , она подойдёт?
44. ekaruk 5172 06.03.16 12:53 Сейчас в теме
(43) AlBelkin, Подходит для любой платформы, начиная с 8.2.
Демка вполне подойдет.
45. dsdred 1464 11.03.16 14:21 Сейчас в теме
Не совсем понял зачем такие сложности?
Для обмена использую сериализацию.
ДанныеВходные - могут быть ТЗ, Структура, просто значение и т.д.

//Серилизатор/Десирелизатор JSON
Функция СериализаторJSON(ДанныеВходные) Экспорт
ЗаписьJSON = Новый ЗаписьJSON;
ЗаписьJSON.УстановитьСтроку();
СериализаторXDTO.ЗаписатьJSON(ЗаписьJSON,ДанныеВходные,НазначениеТипаXML.Явное);
СтрокаJSON = ЗаписьJSON.Закрыть();
Возврат СтрокаJSON;
КонецФункции
Функция ДесерилизаторJSON(ДанныеВходные) Экспорт
ЧтениеJSON = Новый ЧтениеJSON;
ЧтениеJSON.УстановитьСтроку(ДанныеВходные);
ДанныеВозврат = СериализаторXDTO.ПрочитатьJSON(ЧтениеJSON);
ЧтениеJSON.Закрыть();
Возврат ДанныеВозврат;
КонецФункции
46. ekaruk 5172 11.03.16 15:25 Сейчас в теме
(45) dsdred,
1. Ну вообще-то преобразование структуры это немного не то, что преобразование документа. Эта библиотека преобразует объект 1С (документ/справочник) в другой объект 1С.
2. Ваш код не будет работать на платформах ниже 8.3.6.
47. dsdred 1464 11.03.16 15:48 Сейчас в теме
(46) ekaruk
1 Ясно. Обычно сопоставление (документ/справочник) на стороне веб сервиса обрабатываю после десерилизации.
2 Это да, есть еще те кто сидят на старых Платформах... Это при том, что на днях 8.3.8 выйдет и уже есть версия для тестирования 8.4.1.445
48. zels 171 24.02.17 20:47 Сейчас в теме
Хорошая штука, но пришлось немного допилить:
1. Сделал загрузку файлов и JSON->объекты в обычном приложении, т.к. если запускать в тонком клиенте, то при записи объектов могут возникать ошибки (если используются процедуры обычного клиента).
2. Сделал возможность транзакции и вывода через 100 объектов, т.к. при загрузке десятков тысяч объектов вывод каждого тормозит.
49. pavel_pss 266 21.03.18 10:26 Сейчас в теме
Хорошая обработка, но она выгружает только один объект. То есть в обработке выбирается документ и в файл попадет вся информация о нем, а поля например контрагент будут выгружены в только виде ГУИДа, а самого описания контрагента нет, это же не правильно! Нужно было тогда дописывать чтобы и ссылочные реквизиты выгружались. А так обработка получается не полноценной. Кому нужно будет полную версию, обращайтесь. Позже выложу в свою учетку.
53. LomayaZakat 14.10.19 11:45 Сейчас в теме
54. Skotarev 12 24.03.20 01:40 Сейчас в теме
Обработка в архиве была довольно давно, в целях изучения.
Сейчас пригодилась на практике в экстренной ситуации.
Спасибо, очень помогла.
55. SoftIce 42 21.04.20 01:07 Сейчас в теме
При записи в файл ( ЗаписьJSON.ЗаписатьЗначение(JSON(МассивЗначений)); )
все переносы строк, включая структурные, т.е. переносы строк которые образуют структуру json документа превращаются в символ "\n".
Так в файле образуется одна длинная строка.
"[\n{\n\"OBJECT\":true,\n\"NEW\":\"Справочники.ВидыНоменклатуры.СоздатьЭлемент()\", и.т.д.
Что приводит к проблемам обратного преобразования из json в значение 1С.
Например Ключ структуры OBJECT превращается в
"
OBJECT"
и выдает ошибку при создании структуры.
56. SoftIce 42 21.04.20 14:21 Сейчас в теме
Перечисления тоже некорректно обрабатываются. В файл попадает синоним значения.
При десериализации по синониму не может найти корректное значение. Хотя, почему то не находит даже если Синоним значения перечисления совпадает с его Именем.
Оставьте свое сообщение
Вопросы с вознаграждением