Пример работы с заголовками HTTP-запросов: загрузка версий программ с users.v8.1c.ru

Процедура ЗаполнитьДанные(ДокументHTML, ТаблицаДанных)
	
	ТекГруппа = "";
	
	ЭлементыDOM = ДокументHTML.ПолучитьЭлементыПоИмени("td");
		
	Для Каждого Элемент Из ЭлементыDOM Цикл
				
		Если Элемент.ИмяКласса = "groupColumn" Тогда
						
			ИндексКолонки = 1;
			ТекГруппа = СокрЛП(Элемент.ТекстовоеСодержимое);
			
			Продолжить;
			
		КонецЕсли;
		
		Если Элемент.ИмяКласса = "nameColumn" Тогда
			
			НоваяСтрока = ТаблицаДанных.Добавить();
			
			НоваяСтрока.Группа = ТекГруппа;
			НоваяСтрока.Название = СокрЛП(Элемент.ТекстовоеСодержимое);
			
			Если ТипЗнч(Элемент.ДочерниеУзлы[0]) = Тип("ЭлементЯкорьHTML") Тогда
			    НоваяСтрока.Гиперcсылка = СокрЛП(Элемент.ДочерниеУзлы[0].Гиперссылка);
			КонецЕсли;	
										
			ИндексКолонки = 3;
			
			Продолжить;
			
		КонецЕсли;	
		
		ИндексКолонки = ИндексКолонки + 1;
		НоваяСтрока[ТаблицаДанных.Колонки[ИндексКолонки].Имя] = СокрЛП(Элемент.ТекстовоеСодержимое);
		
	КонецЦикла;	
		
КонецПроцедуры

&НаСервере
Функция НайтиJSESSIONID()
	
	Попытка
		
		//для GET-запросов
		HTTPЗапрос1 = Новый HTTPЗапрос;
		HTTPЗапрос1.Заголовки.Вставить("Connection", "keep-alive");
		
		//для POST-запросов
		HTTPЗапрос2 = Новый HTTPЗапрос;
		HTTPЗапрос2.Заголовки.Вставить("Connection", "keep-alive");
		HTTPЗапрос2.Заголовки.Вставить("Content-Type", "application/x-www-form-urlencoded");
		
		Соединение1 = Новый HTTPСоединение("login.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		//Соединение2 = Новый HTTPСоединение("users.v8.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		  //portal.1c.ru
		Соединение2 = Новый HTTPСоединение("releases.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		
		//Запрос 1
		HTTPЗапрос1.АдресРесурса = "/releases.1c.ru/total";
		ОтветHTTP1 = Соединение2.Получить(HTTPЗапрос1);
		результат = ОтветHTTP1.КодСостояния;
		JSESSIONID = ОтветHTTP1.Заголовки.Получить("Set-Cookie");
		JSESSIONID = Лев(JSESSIONID, Найти(JSESSIONID, ";") - 1);
		Объект.JSESSIONID = JSESSIONID;
		LOCATION1 = СтрЗаменить(ОтветHTTP1.Заголовки.Получить("Location"), "https://login.1c.ru", "");
		
		//Запрос 2
		HTTPЗапрос1.АдресРесурса = LOCATION1;
		ОтветHTTP2 = Соединение1.Получить(HTTPЗапрос1);
		JSESSIONID1 = ОтветHTTP2.Заголовки.Получить("Set-Cookie");
		JSESSIONID1 = Лев(JSESSIONID1, Найти(JSESSIONID1, ";") - 1);
		inviteCode = РаспарситьinviteCode(ОтветHTTP2.ПолучитьТелоКакСтроку());
		
		//Запрос 3
		HTTPЗапрос2.АдресРесурса = "/login;" 
		+ СтрЗаменить(JSESSIONID1, "JSESSIONID=", "jsessionid=") 
		+ "?service=https%3A%2F%2Fusers.v8.1c.ru%2Fdistribution%2Fpublic%2Fsecurity_check%3Bjsessionid%3D"­ 
		+ СтрЗаменить(JSESSIONID, "JSESSIONID=", "");
		HTTPЗапрос2.Заголовки.Вставить("Cookie", JSESSIONID1);
		HTTPЗапрос2.УстановитьТелоИзСтроки(inviteCode);
		ОтветHTTP3 = Соединение1.ОтправитьДляОбработки(HTTPЗапрос2);
		LOCATION3 = СтрЗаменить(ОтветHTTP3.Заголовки.Получить("Location"), "https://releases.1c.ru", "");
		
		//Запрос 4
		HTTPЗапрос1.АдресРесурса = LOCATION3;
		HTTPЗапрос1.Заголовки.Вставить("Cookie", JSESSIONID);
		ОтветHTTP4 = Соединение2.Получить(HTTPЗапрос1);
		
		
	Исключение    
		Возврат Ложь;
	КонецПопытки;	
		
	Возврат Истина;
	
КонецФункции

&НаСервере
Функция ЗагрузитьПрограммыНаСервере()
	
	Попытка
		
		Загружено = 0;
		Запрос = Новый HTTPЗапрос;
		Запрос.Заголовки.Вставить("Connection", "keep-alive");
		Запрос.Заголовки.Вставить("Cookie", JSESSIONID);
		Запрос.АдресРесурса = "/total";
		Соединение2 = Новый HTTPСоединение("releases.1c.ru",,,,Новый ИнтернетПрокси,,Новый ЗащищенноеСоединениеOpenSSL);
		ОтветHTTP = Соединение2.Получить(Запрос);
		
		ЧтениеHTML = Новый ЧтениеHTML;
		ЧтениеHTML.УстановитьСтроку(ОтветHTTP.ПолучитьТелоКакСтроку());
		
		Построитель = Новый ПостроительDOM;
		ДокументHTML = Построитель.Прочитать(ЧтениеHTML);
		
		РекурсивныйПарсингСпискаКонфигураций(ДокументHTML);
		
	Исключение
		
		Возврат Ложь;
		
	КонецПопытки;
	
	Возврат Истина;
	
КонецФункции

Соединение = Новый HTTPСоединение("toysland.crimea.ua");			
Заголовки = Новый Соответствие;
Заголовки.Вставить("host", "toysland.crimea.ua");
Заголовки.Вставить("Connection", "keep-alive");
Заголовки.Вставить("Accept","text/html");
Заголовки.Вставить("Accept-Language", "ru");
	
Заголовки.Вставить("Content-Length",СтрДлина(СтрЗаменить(СтрЗаменить(action=secure-login&login="$ЛОГИН$"&passwd="$ПАРОЛЬ$","$ЛОГИН$",Объект.Пользователь),"$ПАРОЛЬ$",Объект.Пароль)));
Запрос = Новый HTTPЗапрос(ТекАдрес, Заголовки);
Запрос.УстановитьТелоИзСтроки(СтрЗаменить(СтрЗаменить(Объект.ШаблонПОСТ,"$ЛОГИН$",Объект.Пользователь),"$ПАРОЛЬ$",Объект.Пароль));
Ответ = Соединение.ОтправитьДляОбработки(Запрос);

Ответ.ПолучитьТелоКакСтроку();

Функция РаспарситьinviteCode(Текст)
	
	ЧтениеHTML = Новый ЧтениеHTML;
	ЧтениеHTML.УстановитьСтроку(Текст);
	
	Построитель = Новый ПостроительDOM;
	ДокументHTML = Построитель.Прочитать(ЧтениеHTML);
	
	loginForm = ДокументHTML.ПолучитьЭлементПоИдентификатору("loginForm");
	
	inviteCode = "inviteCode=<=" + loginForm.Элементы[1].Значение 
				+ "&execution=" + loginForm.Элементы[2].Значение 
				+ "&_eventId=" + loginForm.Элементы[3].Значение
	 			+ "&username=" + КонстантыНабор.username 
				+ "&password=" + КонстантыНабор.password;
				
	//РекурсивныйПарсингСтраницыЛогина(ДокументHTML, inviteCode);
	//inviteCode = inviteCode + "&username=" + КонстантыНабор.username + "&password=" + КонстантыНабор.password;
	
	Возврат inviteCode;
	
КонецФункции

&НаСервере
Функция РаспарситьinviteCode(Текст)
	
	ЧтениеHTML = Новый ЧтениеHTML;
	ЧтениеHTML.УстановитьСтроку(Текст);
	
	Построитель = Новый ПостроительDOM;
	ДокументHTML = Построитель.Прочитать(ЧтениеHTML);
	
	loginForm = ДокументHTML.ПолучитьЭлементПоИдентификатору("loginForm");
	
	inviteCode = "inviteCode=&username=" + КонстантыНабор.username 
				+ "&password=" + КонстантыНабор.password
				+ "&execution=" + loginForm.Элементы[4].Значение
				+ "&_eventId=submit"
				+ "&geolocation="
				+ "&submit=Войти"
				+ "&rememberMe=on"
				;
				
	//РекурсивныйПарсингСтраницыЛогина(ДокументHTML, inviteCode);
	//inviteCode = inviteCode + "&username=" + КонстантыНабор.username + "&password=" + КонстантыНабор.password;
	
	Возврат inviteCode;
	
КонецФункции

import requests
from bs4 import BeautifulSoup

def getParamExecution(html_text):
    soup = BeautifulSoup(html_text, 'lxml')
    inputItem = soup.find('input',{'name':'execution'})
    if (inputItem!=None) and ('value' in inputItem.attrs):
        res = inputItem.attrs['value']
    else:
        res = None
    return res

def getHtmlTable():
    login = 'login'
    passw = 'passw'

    # Первый запрос для получения временных параметров.
    # 1.cookie SESSION сохраняется в сессии newSession
    # 2.парамер execution нужен для отправки во втором запросе
    adrLogin = 'https://releases.1c.ru/total'
    headersLogin = {'Connection': 'keep-alive'}
    newSession = requests.Session()
    r = newSession.get(adrLogin, headers = headersLogin)
    #session_id = r.cookies['SESSION']
    paramExecution = getParamExecution(r.text)
    if paramExecution == None:
        return ''

    # Второй запрос, происходит авторизация через форму на сайте.
    # Затем выполняется редирект на страницу с релизами
    # возвращает текст страницы с релизами в r.text
    adrPost = 'https://login.1c.ru/login'
    formData = {'inviteCode':'', 
            'inviteType':'',
            'username': login,
            'password': passw,
            'rememberMe': 'on',
            'execution': paramExecution,
            '_eventId': 'submit',
            'geolocation': '',
            'submit': 'Войти'}
    r = newSession.post(adrPost, data=formData)
    return r.text