Парсинг веб-страниц. Нужен подход, который синхронно отрабатывает в коде

1. alexshm 25.05.19 13:19 Сейчас в теме
Здравствуйте.
Задача - распарсить большое количество данных из интернета. У меня большой справочник, который я обхожу, для каждого элемента загружаю отдельную страницу из интернета, и собираю данные.
Сложность в том, что на сайте (это Меркурий ХС - гос. ветеринарная информационная система: http://mercury.vetrf.ru/hs) масса редиректов, сложная авторизация, аякс. Поэтому прикрутить простой HTMLзапрос не получается.
Официальный API Меркурия не отдает очень много нужной информации (в частности не отдет информацию о человекопонятном номере ВСД, о списанном в производство сырье). Он вообще заточен только принимать информацию, а отдавать - постольку - поскольку.
Если получать одну страницу - нормально отрабатывает элемент формы типа html-документ.
Но если нужно обработать пакетно много тысяч строк, возникает проблема. Элемент начинает обновляться только после остановки выполнения процедуры.
Можно, конечно, ставить таймеры и бить код на кусочки. Но сложность кода вырастает в разы.
Пока пользуюсь com подключением к ie8. Более поздние версии не прокатывают.
Но работает крайне нестабильно и администратору мешает обновлять систему. Да и вообще не дело из-за частной задачи держать на сервере устаревший ие.
AltBrowser https://infostart.ru/public/285787/ пока поставить не получается.

Может кто подскажет способ синхронно обновлять html-документ, не дожидаясь остановки выполнения? Или какую-нибудь работающую альтернативы ИЕ?
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
В этой теме еще нет сообщений.
Оставьте свое сообщение
Вакансии
Ведущий разработчик 1С
Москва
зарплата от 200 000 руб.
Полный день

Программист 1С
Москва
зарплата от 130 000 руб. до 170 000 руб.
Полный день

Аналитик 1С: ERP (оперконтур)
Москва
зарплата от 180 000 руб. до 250 000 руб.
Полный день

Аналитик 1С: УХ
Москва
зарплата от 180 000 руб. до 250 000 руб.
Полный день

Аналитик 1С: ЗУП
Москва
зарплата от 180 000 руб. до 250 000 руб.
Полный день