Уменьшаем трафик: HTTP запрос со сжатием GZIP средствами 1С. На примере выгрузки файлов на Яндекс-диск

03.09.18

Интеграция - WEB-интеграция

Обработка демонстрирует отправку тела HTTP запроса со сжатием gzip (метод deflate) средствами платформы 1С. Демонстрация происходит на примере отправки текста или файла на Яндекс.Диск.

Скачать исходный код

Наименование Файл Версия Размер
Отправка HTTP запроса с телом сжатым GZIP
.epf 9,01Kb
96
.epf 9,01Kb 96 Скачать

В одной из задач мне требовалось один раз в 10 минут отправлять из 1С на API сайта текстовую (json) информацию в теле POST запроса. При этом объем информации был достаточно значительным, и я решил его сжать распространенным в HTTP форматом gzip. В результате размер передаваемой информации сократился в 10 раз. В предоставленной здесь обработке gzip для примера используется с целью уменьшения трафика при отправке файла из 1С на Яндекс-диск методом PUT. Аналогично можно поступить при работе с Google-диском. Делал на платформе 8.3.9.2233, работоспособность также проверена на 8.3.11.3034.

Для достижения цели проделал следующее:

1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.

Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные. Из логов отправки на скринах ниже видно, что без сжатия размер тела составлял 212013 байт, со сжатием - 23988 байт. На текстовых данных, в т.ч. json и xml, выигрыш довольно значительный.

 

Описание формата zip, структуру служебных заголовков взял здесь: https://www.iana.org/assignments/media-types/application/zip
Заголовки, которые нужно вставить в gzip, здесь: http://www.zlib.org/rfc-gzip.html

Токен Яндекса, встроенный в обработку, истекает 01.09.2019. После этого дня для демонстрации выгрузки на Я.диск используйте свой токен. А так же соответственно свой адрес на Я-диске для просмотра результата выгрузки файла на диск.

gzip http запрос сжатие

См. также

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020    15953    13    18    

13

Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС

Обмен с ГосИС WEB-интеграция Платформа 1С v8.3 Управляемые формы 1С:Комплексная автоматизация 1.х 1С:Бухгалтерия 2.0 1С:Управление торговлей 10 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:Бухгалтерия государственного учреждения 1С:Документооборот 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Платные (руб)

Обработка является альтернативой механизму, разработанному фирмой 1С и заполняющему реквизиты контрагента по ИНН или наименованию. Не требуется действующей подписки ИТС. Вызывается как внешняя дополнительная обработка, т.е. используется, непосредственно, из карточки контрагента. Заполнение по ИНН или наименованию реквизитов контрагента по данным сайта ФНС (egrul.nalog.ru) для БП 2.0, БП 3.0, БГУ 1.0, БГУ 2.0, УТ 10.3, УТ 11.x, КА 1.1, КА 2.x, УПП 1.x, ERP 2.x, УНФ 1.5, УНФ 1.6, УНФ 3.0, ДО 2.1

2400 руб.

28.04.2016    89022    163    216    

318

[Расширение] БОР-Навигатор.Культура

Зарплата Бюджетный учет WEB-интеграция Обмен с ГосИС Платформа 1С v8.3 Сложные периодические расчеты 1С:Зарплата и кадры государственного учреждения 3 Государственные, бюджетные структуры Россия Бюджетный учет Платные (руб)

Расширение конфигурации, включающее в себя объекты, необходимые для подготовки и сдачи отчета "Штатная численность" системы "БОР-Навигатор.Культура" в программе "1С:Зарплата и кадры государственного учреждения", редакция 3.1.

8400 руб.

01.02.2019    25892    9    0    

7

Интеграция с сервисом vetmanager

WEB-интеграция Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Бытовые услуги, сервис Платные (руб)

Внешняя обработка разрабатывалась для загрузки документов из Ветменеджер в 1С: Бухгалтерия 3.0

12000 руб.

02.02.2021    16496    42    49    

23

Merlion Commander Версия 1.3.9.2 - июль 2022 г. (Интеграция с 1С: УT, редакция 11.4, 1С:Розница 2.3,1С:ERP Управление предприятием 2, УТ 10.3, редакция веб-сервиса MERLION API 3.0 от 18.08.2021)

Оптовая торговля Розничная торговля WEB-интеграция Платформа 1С v8.3 1С:Управление торговлей 11 Россия Платные (руб)

Расширении конфигурации "Управление торговлей, редакция 11" для работы с веб-сервисом Мерлион с помощью Merlion API. Расширение и набор подключаемых дополнительных обработок позволяет без изменения конфигурации получить возможность работы с API крупнейшего российского дистрибьютора http://merlion.com. Логика работы максимально приближена к работе веб-сервиса b2b. Вы сможете создать и исправить заказ, зарезервировать товар прямо из 1С, посмотреть актуальные остатки и цены, импортировать штрихкода EAN13 товаров, загружать заказ c автоматическим созданием номенклатуры в 1С и корректности создания. Можно выбирать характеристики по товарным группам и загружать товар с выбранными характеристиками, загружать изображения товара. Не требуется установки дополнительного ПО для работы с веб-сервисом. Кроссплатформенное решение для ОС Windows и Linux. Весь код модулей открыт и доступен для просмотра и внесения изменений.

8280 руб.

02.05.2017    41098    43    64    

50
Комментарии
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
1. link.gabauer 4 11.02.21 11:14 Сейчас в теме
Спасибо за решение. То что нужно! Респект
2. Oksana_An 30.04.21 14:58 Сейчас в теме
Добрый день! Выполняю POST запрос в Fiddlere, запрос выполнился без ошибок только когда установила Transformer - GZIP.
Подскажите, пожалуйста, как можно в 1C передать через HTTP тело запроса с использованием GZIP?
4. uno-c 235 02.05.21 16:34 Сейчас в теме
(2) Передать можно так, как написано в статье:
1. Сжал текстовый файл в архив zip встроенными в 1С средствами.
2. Извлек из zip-архива чистый deflate, без служебной информации.
3. К чистому deflate добавил служебную информацию архива gzip.
Когда gzip готов - его можно вставлять в тело http-запроса, как двоичные данные.
3. Oksana_An 30.04.21 15:00 Сейчас в теме
Тело запроса содержит текстовый файл.
5. Gendelf 07.06.22 10:27 Сейчас в теме
Я правильно понимаю, что без текстового файла не обойтись?
6. uno-c 235 07.06.22 12:35 Сейчас в теме
(5) В статье в Яндекс-Диск я передавал октет-стрим. application/octet-stream: двоичный файл без указания формата (RFC 2046). Текст выбран, чтобы показать существенный выигрыш, который я получил. Когда json передавал (json передавал не в Яндекс), json это тоже текст. А так сжимать и передавать можно любые двоичные данные, но выигрыш в размерах будет разный, в зависимости от содержания двоичных данных.
7. Gendelf 08.06.22 09:00 Сейчас в теме
(6) Не совсем понял. Опишу подробнее, необходимо отправить ответ сервису в gzip (без него ответ json около 1ггб).
Какой порядок действий, что нужно сделать, чтобы сжать строку json.

Нашёл в интернете: Ответ.Заголовки.Вставить("Content-Encoding", "gzip"); - не помогло.
8. uno-c 235 08.06.22 12:17 Сейчас в теме
(7) json - это обычный текст. Т.е нужно сделать примерно то же, что делала обработка из этой публикации, когда на Яндекс сжатые данные передавала. Только заголовок вставить - недостаточно. Нужно, чтобы и тело запроса было не текстом, а гзипом, обработка из этой публикации этим и занималась - из текстового файла делала gzip.
9. SerVer1C 756 05.06.23 09:06 Сейчас в теме
Описание формата zip, структуру служебных заголовков взял здесь:

Может здесь: https://infostart.ru/public/618906/
?
10. uno-c 235 05.06.23 14:09 Сейчас в теме
(9) Предпочитаю первоисточники - спецификации RFC и т.п. А Ваша обработка gzip и не сделает, судя по описанию. Мне нужен был именно gzip, сервер не принимал чистый deflate, несмотря на соответствующий Content-encoding в POST-запросе. Пришлось обе спецификации листать, и https://www.iana.org/assignments/media-types/application/zip и http://www.zlib.org/rfc-gzip.html
11. prohorp 33 16.08.23 10:35 Сейчас в теме
Начал делать обмен 1С с ClickHouse.
По информации в интернете сделал обработку, в которую накидал методы получения и отправки данных(поэтому все так безобразно выглядит).
Команда2НаСервере - это получение данных.
ОтправитьДанныеНаСервере - это отправка сжатого GZIP-ом запроса.
Работа с GZIP была скопирована с другого тоже популярного источника 1С.
Может вариант не идеальный, но рабочий.

&НаКлиенте
Процедура Команда1(Команда)
	Команда1НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда1НаСервере()
	gzip = ПолучитьМодульGZIP();
	стр64 = СтрокаВGZIP(gzip, "Hy"); 
	сообщить(стр64);
	Стр = GZIPВСтроку(gzip, стр64);  
	сообщить(Стр);
КонецПроцедуры  

Функция ПолучитьМодульGZIP() 
	МодульGZIP = Новый Структура;
	МодульGZIP.Вставить("NetObject", новый COMОбъект("NetObjectToIDispatch45"));
	МодульGZIP.Вставить("MemoryStream", МодульGZIP.NetObject.ПолучитьТип("System.IO.MemoryStream"));
	МодульGZIP.Вставить("UTF8", МодульGZIP.NetObject.ПолучитьТип("System.Text.Encoding").UTF8);
	МодульGZIP.Вставить("CompressionMode", МодульGZIP.NetObject.ПолучитьТип("System.IO.Compression.CompressionMode"));
	МодульGZIP.Вставить("Convert", МодульGZIP.NetObject.ПолучитьТип("System.Convert"));
	Возврат МодульGZIP;
КонецФункции

Функция СтрокаВGZIP(gzip, стр)   
	СжатыйПоток = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream); //Поток куда запишутся сжатые данные
	zipStr = gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream", СжатыйПоток, gzip.CompressionMode.Compress);
	МассивДанных= gzip.UTF8.GetBytes(стр);// Получим массив данных используя кодировку  UTF8
	ПотокДляСжатия = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,МассивДанных);  // Создадим поток из массива данных
	ПотокДляСжатия.CopyTo(zipStr);
	zipStr.Flush(); // Сбросим данные в  СжатыйПоток
	zipStr.Close(); // Закроем  GZipStream
	compressed = СжатыйПоток.ToArray(); // Получим массив байт сжатых данных
	Возврат gzip.Convert.ToBase64String(compressed); // Переведем сжатые данные в Base64
КонецФункции  

Функция GZIPВСтроку(gzip, стр64)
	compressed=gzip.Convert.FromBase64String(стр64);
	ПотокСжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream,compressed);
	GZipПоток =gzip.NetObject.СоздатьОбъект("System.IO.Compression.GZipStream",ПотокСжатыхДанных, gzip.CompressionMode.Decompress);
	ПотокРазжатыхДанных = gzip.NetObject.СоздатьОбъект(gzip.MemoryStream);
	GZipПоток.CopyTo(ПотокРазжатыхДанных);
	Данные=ПотокРазжатыхДанных.ToArray();
	Возврат gzip.UTF8.GetString(Данные);
КонецФункции // ()

&НаКлиенте
Процедура Команда2(Команда)
	Команда2НаСервере();
КонецПроцедуры

&НаСервере
Процедура Команда2НаСервере()  
	
	АдресСервера = "10.0.10.140";
	Порт = 8123;
	ТекстЗапроса = "SEL ECT * FROM my_first_table ORDER BY timestamp";
	РесурсНаСервере = "";
	
	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере);
		HTTPЗапрос.УстановитьТелоИзСтроки(ТекстЗапроса);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	
	
КонецПроцедуры

&НаКлиенте
Процедура ОтправитьДанные(Команда)
	ОтправитьДанныеНаСервере();
КонецПроцедуры

&НаСервере
Процедура ОтправитьДанныеНаСервере()

	АдресСервера = "10.0.10.140";
	Порт = 8123;
	gzip = ПолучитьМодульGZIP();
	
	ТекстЗапроса = "INS ERT IN TO my_first_table (user_id, message, timestamp, metric) VALUES (150, 'Здорова Petr fr om gzip',now(),6.6)";
	ТекстЗапросаGZIP = СтрокаВGZIP(gzip, ТекстЗапроса); 
	
	ДД = Base64Значение(ТекстЗапросаGZIP);
	
	РесурсНаСервере = ""; 
   Заголовки = Новый Соответствие;
   Заголовки.Вставить("Content-Encoding", "gzip");	

	Попытка
		Соединение = Новый HTTPСоединение(АдресСервера,Порт);
	Исключение
		Сообщить("Не удалось установить соединение с сервером онлайн-проверки:" 
		+ Символы.ПС + ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
		Возврат;
	КонецПопытки;
	
	// посылаем запрос
	
	Попытка
		HTTPЗапрос = Новый HTTPЗапрос(РесурсНаСервере, Заголовки);
		HTTPЗапрос.УстановитьТелоИзДвоичныхДанных(ДД);
		Результат  = Соединение.ОтправитьДляОбработки(HTTPЗапрос); 
		Ответ = Результат.ПолучитьТелоКакСтроку(КодировкаТекста.UTF8);       
		сообщить(Ответ);
		Соединение = Неопределено;
		Если Результат.КодСостояния > 299 Тогда
			Сообщить("Код состояния " + Результат.КодСостояния + ". Проверка не выполнена");
		КонецЕсли;
	Исключение
		Сообщить(ИнформацияОбОшибке().Описание, СтатусСообщения.Важное);
	КонецПопытки;	

КонецПроцедуры
Показать
12. uno-c 235 16.08.23 11:24 Сейчас в теме
(11) Если рабочий - то точно не всегда, COM на линуксе не работает.
Оставьте свое сообщение