Парсинг сайта - ошибка 403

1. igor63 13.08.24 12:54 Сейчас в теме
Добрый день! Подскажите пожалуйста есть ли способы обхода ошибки 403 при парсинге? Есть процедура по авторизации, с помощью нее логинюсь на сайт и получаю куки (ID сессии), далее захожу на нужную страницу выгружаю данный буквально 5-8 запросов и выходит ошибка 403. Пробовал ставить задержку в 10 секунд, не помогает.

Функция ПолучитьДанные(Артикул);
	
	
	// Выполняем второй запрос и переходим на нужную страницу с указанием ID сесии
	HTTPСоединение =  Новый HTTPСоединение(АдресРесурса,443,,,,5,Новый ЗащищенноеСоединениеOpenSSL);
	HTTPЗапрос = Новый HTTPЗапрос("/catalog/product/" + ПолучитьАртикул(Артикул) + "/");//("/catalog/product/" + ПолучитьАртикул(Номенклатура));
	HTTPЗапрос.Заголовки.Вставить("Content-Type", "text/html");
	HTTPЗапрос.Заголовки.Вставить("cookie", ИдентификаторСессии);  
	Пауза(10);
	Результат = HTTPСоединение.Получить(HTTPЗапрос); 
	КодСостояния = Результат.КодСостояния; 
	
	Если КодСостояния = 200 Тогда	
		ТекстХТМЛ = Результат.ПолучитьТелоКакСтроку();
		
		СтруктураДанных = Новый Структура;
		
		
		Остаток = РазборДанных("in_stock__available"">", "шт"); // Параметры 1- Подстрока начала раздела 2 - подстрока окончания раздела
		
		Цена = РазборДанных("price ""><span class=""numbers"">", "руб");
		
		Артикул = РазборДанных("Код: <span>", "<");
		
		СтруктураДанных.Вставить("Цена", Цена);
		СтруктураДанных.Вставить("Остаток", Остаток);
		СтруктураДанных.Вставить("Артикул", Артикул);
		
		
		Возврат СтруктураДанных;
	ИначеЕсли КодСостояния = 403 Тогда 
		
		Возврат "Ошибка " + КодСостояния;
	КонецЕсли;
	
КонецФункции
Показать
По теме из базы знаний
Вознаграждение за ответ
Показать полностью
Найденные решения
4. igor63 13.08.24 16:22 Сейчас в теме +0.5 $m
Увеличил паузу между запросами до 30 секунд проблема решилась
Остальные ответы
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
2. user-z99999 70 13.08.24 14:52 Сейчас в теме
(1)
Перед каждым запросом получай куки.
Возможно их время жизни маленькое.
3. user1880116 13.08.24 15:35 Сейчас в теме
А обновленные куки, которые запрос возвращает, Александр Сергеевич учитывать будет?
4. igor63 13.08.24 16:22 Сейчас в теме +0.5 $m
Увеличил паузу между запросами до 30 секунд проблема решилась
Оставьте свое сообщение

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот