JSON в 1С:8.x

18.01.17

Интеграция - Внешние источники данных

Очередной велосипед про JSON в 1С

Скачать файлы

Наименование Файл Версия Размер
Внешняя обработка для 1С
.epf 11,53Kb
42
.epf 11,53Kb 42 Скачать

Ложка дорога к обеду, и данный материал следовало выложить на просторы интернета значительно раньше. Но судьбе довелось свести меня с JSON в 1С только сейчас.

Много воды утекло с тех пор, как фирма 1С представила средства для работы с JSON v8.1c.ru/o7/201410json/index.htm. Но тем не менее, найдется большое количество конечных пользователей, которые в ближайшем будущем не будут обновлять платформу до версии 8.3.6.1977 или выше, чтобы программист смог воспользоваться средством работы с JSON непосредственно от фирмы 1С. Поэтому по прежнему остается актуальной задача работы с JSON в 1С средствами сторонних разработчиков.

Не скажу, что потратил кучу времени на поиск и изучение решений для работы с JSON в 1С, но времени потратил достаточно и решения конечно нашлись. Но как это часто бывает, все эти решения обладали определенными недостатками, которые меня не устраивали. Поэтому пришлось спешно создать свое решение для работы с JSON в 1С.

Подробно описывать решение не буду, откройте код и все увидите. Реализована сериализация примитивных типов данных, а также типов Массив, Структура, Соответствие. Все остальные типы данных необходимо преобразовывать к этим типам. Процедуру преобразования предоставляю написать вам. Если JSON файл будет содержать комментарии внутри данных, то могут возникнуть ошибки при парсинге. При возникновении других ошибок, можете обратится к разработчику, то есть ко мне, по-возможности помогу разобраться.

Основные преимущества данного решения это простота кода и скорость работы.

Код легко читается и как следствие легко редактируется и дописывается. Поэтому если вы обнаружите в коде какие-либо недоработки, то дописать до необходимой вам кондиции много времени не займет.
И главное отличие от других решений это скорость работы. Готов поспорить, что скорость выше всех. И что удивительно, скорость почти не падает при увеличении объема обрабатываемых данных. Этого вам не сможет предложить ни одно другое решение.

Качайте, используйте, редактируйте, но помните главное в программировании: Проверил, работает - ничего не трогай.

Удачи.

JSON

См. также

Перенос данных из Парус 8 в ЗГУ 3

Зарплата Внешние источники данных Бюджетный учет Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 8 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

84000 руб.

19.08.2020    22447    19    1    

22

Перенос данных из Парус 10 в ЗГУ ред.3

Внешние источники данных Кадровый учет Файловый обмен (TXT, XML, DBF), FTP Обмен между базами 1C Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 10 учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

60000 руб.

05.10.2022    9208    9    8    

10

Перенос данных из Парус 7.хх в ЗГУ ред.3

Внешние источники данных Зарплата Бюджетный учет Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате, фактических удержаниях, НДФЛ, вычетах, страховых взносах из базы Парус 7.хх учреждений в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ) и начать с ней работать с любого месяца года.

24000 руб.

24.04.2017    48700    97    163    

86

Перенос начальных остатков из Парус 7.71 в БГУ

Внешние источники данных Взаиморасчеты Учет ОС и НМА Логистика, склад и ТМЦ Бюджетный учет Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 2.0 1С:Бухгалтерия государственного учреждения Государственные, бюджетные структуры Россия Бюджетный учет Платные (руб)

Перенос словарей и начальных остатков из ПП Парус-Бухгалтерия Бюджет 7.71 в 1Сv8 БГУ2. Заполнение словарей и документов по вводу начальных остатков. Не требуется установка ПП Парус7. Возможна дозагрузка. Позволит автоматически и наиболее полно ввести данные в программу для начала работы. 

15600 руб.

08.12.2011    81563    128    123    

147

Перенос данных из Парус 10 (Торнадо) в ЗГУ ред.3 через Excel

Внешние источники данных Загрузка и выгрузка в Excel Зарплата Бюджетный учет Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бухгалтерский учет Бюджетный учет Платные (руб)

Обработка позволяет перенести кадровую информацию и данные по заработной плате из Парус 10(Торнадо) учреждений через файлы Excel в конфигурацию 1С:Зарплата и кадры государственного учреждения ред. 3 (ЗГУ). В принципе, обработка может быть использована для загрузки из файлов Excel, полученных из любых информационных систем.

24000 руб.

16.11.2018    30001    20    31    

21

Загрузка спецификаций в УНФ из системы Базис-мебельщик

Производство готовой продукции (работ, услуг) Внешние источники данных Платформа 1С v8.3 1С:Управление нашей фирмой 1.6 Лесное и деревообрабатывающее хозяйство Россия Управленческий учет Платные (руб)

Обработка предназначена для загрузки файлов, выгруженных из системы Базис-мебельщик, в справочник "Спецификации" для последующих процессов учета и диспетчирования полуфабрикатов и изделий.

7200 руб.

24.06.2021    19127    52    50    

29
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. fishca 1254 18.01.17 10:12 Сейчас в теме
Что делает обработка, можно чуть подробнее расписать?
echo77; Alias; +2 Ответить
2. nomadon 367 18.01.17 10:29 Сейчас в теме
(1) там же написано, это идея, остальное предлагается дописать Вам..
Автор заверяет что она не делает большинство того что делают другие обработки, поэтому скорость выше)
4. user671983_saa039 5 18.01.17 11:46 Сейчас в теме
(2) Не совсем так. Обработка делает ВСЁ, что необходимо для парсинга данных из JSON в 1С, и может сериализовать обратно в JSON полученные данные. Если требуется сериализация типов данных, которые не предусмотрены стандартом JSON, то такую сериализацию в любом случае придётся писать индивидуально под конкретную задачу.
3. user671983_saa039 5 18.01.17 11:38 Сейчас в теме
(1) Во-первых, обработка используется как хранилище кода, который можно скопировать в нужное вам место. А во-вторых, это демо пример как можно использовать этот код. Обработка читает текстовый файл с массивом данных в формате JSON, парсит его, а затем сериализует полученные данные, и показывает время в секундах, затраченное на парсинг и серилизацию.
5. BigB 191 20.01.17 03:14 Сейчас в теме
Чем Вам моя обработка не понравилась? http://infostart.ru/public/61194/
6. Bukaska 140 20.01.17 10:20 Сейчас в теме
(5)Потому что ваша обработка не менялась с 2009 года. Сейчас функционал меняется со скоростью света и старая обработка может не работать на новом релизе.
корум; +1 Ответить
7. BigB 191 20.01.17 14:32 Сейчас в теме
(6) А что формат JSON изменился с 2009 года?
Не слышал про это.
Не поверите, но та обработка продолжает работать и на последних платформах без проблем.
8. user671983_saa039 5 20.01.17 15:24 Сейчас в теме
(5) К сожалению администрация ресурса не позволяет мне скачать вашу обработку, для того чтобы я смог в полной мере оценить ваше решение. Видимо по той же причине, по которой не дает мне выложить мою обработку для бесплатной загрузки. Но, на основании вашего предыдущего поста, в котором была представлена часть кода, могу точно сказать, что в вашем решении меня не устраивает: во-первых скорость работы, а во-вторых обработка исключительных ситуаций, указанная описании к вашей обработке: "если строка "битая" или неправильная, то результат непредсказуем. В смысле — в результате работы парсинга будет возвращена какая-нибудь лабуда."
9. BigB 191 20.01.17 23:07 Сейчас в теме
(8) Ради интереса скачал Вашу обработку.
Она по определению не может быстро работать!
У Вас в четырех местах используется очень медленная конструкция Попытка - Исключение.
10. BigB 191 20.01.17 23:30 Сейчас в теме
Протестировать скорость работы мне не удалось, так как, парсер не смог обработать два файла которые я ему предложил.
На первом файле я получил следующее сообщение:
(199) Не найден разделитель или окончание структуры.
parse:0
stringify:0

На втором файле я получил следующее сообщение:
(1) Данные должны начинаться с открывающей скобки квадратной или фигурной!
parse:0
stringify:0
Прикрепленные файлы:
test.json
comments.json
11. user671983_saa039 5 21.01.17 00:23 Сейчас в теме
(10)Пилят мужики лес двуручными пилами. Прислали им в помощь японскую
бензопилу. Ну мужики решили ее проверить. Подошли они к то-о-оненькому
деревцу:
- В-вжик,- сказала пила.
- О-о-о! - сказали мужики и решили проверить бензопилу на сосне:
- В-вжик,- сказала пила.
- О-о-о! - сказали мужики и решили проверить бензопилу на то-о-олстенном
дубе:
- В-вжик,- сказала пила.
- О-о-о! - сказали мужики и решили принести железный лом:
- Трх-тх-тхтх... , - сказала пила.
- А-а-а-а! - сказали мужики и пошли пилить лес двуручными пилами...
12. user671983_saa039 5 21.01.17 00:37 Сейчас в теме
(10) Вы сами прекрасно знаете, почему получили такой результат. Уберите комментарии и будет работать. И во избежание возникновения подобных вопросов я добавлю в описание своей обработки "поддержка комментариев формата json в соответствии с синтаксисом ECMAScript 5 еще не реализована".
13. BigB 191 21.01.17 00:57 Сейчас в теме
(12) Это не я придумал эти файлы.
Эти файлы для проверки на соответствие json стандарту.
В описании Вашей обработки напишите, что обработка некоторые файлы может распарсить.
14. BigB 191 21.01.17 01:29 Сейчас в теме
И почему Вы решили, что json обязательно должен начинаться с "{" или с "["?
Json вполне может начинаться c числа:
123

или строки:
"123"

Зайдите на любой JSON валидатор и убедитесь в этом.
К сведению: строка json может начинаться с:
'STRING', 'NUMBER', 'NULL', 'TRUE', 'FALSE', '{', '['
15. user671983_saa039 5 21.01.17 04:28 Сейчас в теме
(14)Потому-что в реальных задачах именно так. А теоретически, конечно может начинаться и с других символов.
Спасибо за тестовый пример! Доработал код, чтобы успешно парсил ваш test.json. Но все еще с некоторыми ограничениями:
1) Комментарий в конце файла успешно игнорируется. Если будут комментарии внутри данных, то это по-прежнему может вызвать ошибку при парсинге.
2) Если внутри строки json объект, то он не парсится, а сохраняется как строка.
3) Не понял, что нужно было сделать со строкой "" \u0022 %22 0x22 034 "", также сохраняется как строка.
Замена юникод символов на \uXXXX при сериализации по-прежнему не реализована.
Прикрепленные файлы:
jsonParser.epf
16. BigB 191 21.01.17 19:27 Сейчас в теме
(15) Александр, есть ещё ошибки.
Подал обработке файл размером 108Мб - на выходе получил файл размером 57Мб. Как так то?
Я попробовал дать ей файл меньшего размера для анализа результата.
На входе:
{
"Массив 123":[
	{"Код":1, "Наименование":"Тест 1"},
	{"Код":2, "Наименование":"Тест 2"},
	{"Код":3, "Наименование":"Тест 3"}],
"Массив 456":[
	{"Код":4, "Наименование":"Тест 4"},
	{"Код":5, "Наименование":"Тест 5"},
	{"Код":6, "Наименование":"Тест 6"}],
"Массив 789":[
	{"Код":7, "Наименование":"Тест 7"},
	{"Код":8, "Наименование":"Тест 8"},
	{"Код":9, "Наименование":"Тест 9"}]
}
Показать

Получил на выходе:
[
{
"Массив 123":[
	{"Код":1, "Наименование":"Тест 1"},
	{"Код":2, "Наименование":"Тест 2"},
	{"Код":3, "Наименование":"Тест 3"}],
"Массив 456":[
	{"Код":4, "Наименование":"Тест 4"},
	{"Код":5, "Наименование":"Тест 5"},
	{"Код":6, "Наименование":"Тест 6"}],
"Массив 789":[
	{"Код":7, "Наименование":"Тест 7"},
	{"Код":8, "Наименование":"Тест 8"},
	{"Код":9, "Наименование":"Тест 9"}]
}
]
Показать

На входе был объект, а на выходе я получил массив!
17. user671983_saa039 5 21.01.17 21:14 Сейчас в теме
(16) Это не ошибки, это даже на особенности не тянет. Даже не заглядывая в ваш файл могу пояснить такую разницу.
1) Если текст на входе содержал пробелы, символы табуляции, переводы строк ВНЕ СТРОКОВЫХ ДАННЫХ, то все эти символы при парсинге отбрасываются, как не содержащие данных. Например, json файл был отформатирован как в вашем примере "файл меньшего размера", а при сериализации получится 1 строка, так как все лишние переводы строк и отступы будут убраны.
2) Если текст на входе содержал комбинацию из двух байт \b, то на выходе это будет один байт - символ пробел.
3) При сериализации юникод символы не заменяются на комбинации \uXXXX. Соответственно 6 байт во входном файле заменяются на 1 или 2 байта в выходном файле.
Вы конечно можете с этим поспорить, но при использовании связки 1С->JSON нет необходимости при сериализации заменять юникод символы на комбинации \uXXXX, так как 1С по-умолчанию создает файлы в кодировке utf, и эту кодировку прекрасно читает любой веб-сервер. Если же вам все-таки требуется конвертация юникод символов в комбинацию \uXXXX, то уже особенности вашего конкретного случая, и эти особенности требуют индивидуальной процедуры сериализации, а для других случаев такая конвертация не требуется.

По второму вопросу могу пояснить следующее. В моем решении функция jsonParse всегда возвращает Массив, даже если json файл содержит структуру. Это удобно с точки зрения использования, потому-что результат не требует проверки на тип данных. Если во входном файле у вас структура, то на выходе будет массив с одним элементом содержащим структуру. В демо примере сериализуется именно этот массив и получается такая разница. Но все мои пояснения были бы лишними, если бы вы ознакомились с кодом функции jsonParse, там не так много строчек и все эти особенности видны невооруженным глазом.
18. BigB 191 22.01.17 00:59 Сейчас в теме
(17) Да, действительно входной файл был в UTF8.
Сделал замер производительности на входном файле размером 57Мб.
Скорость действительно хорошая!
Приложил свою обработку.
Может быть она Вам пригодится.
Прикрепленные файлы:
JSON_and_UnJSON_81_2009_11_27.epf
19. leemuar 22.01.17 18:17 Сейчас в теме
Пожалуйста, включите в статью замеры производительности вашей разработки со стандартным объектом
20. user671983_saa039 5 22.01.17 23:43 Сейчас в теме
(19) Сравнение со стандартным средством разумеется не в мою пользу, я бы сильно удивился, если бы было наоборот. Поэтому, я не хочу включать это в саму статью, но в комментарии результат сравнения все же укажу. Стандартным средством данные обрабатываются практически мгновенно. Вот результаты моего небольшого теста.

На обработку файла размером 16 мегабайт было затрачено времени в секундах (чтение/запись):
стандартными средствами: 1/1
моей обработкой: 32/15

На обработку файла 64 мегабайт было затрачено времени в секундах (чтение/запись):
стандартными средствами: 4/4
моей обработкой: 130/60
21. leemuar 23.01.17 07:28 Сейчас в теме
(20) Спасибо! Важно было понять не что быстрее (более высокая скорость работы встроенного объекта в принципе очевидна), а на сколько потенциально можно ускорить работу с JSON, если переходить на новую версию платформы и использовать стандартный объект.
Оставьте свое сообщение