Парсинг веб-страниц. Нужен подход, который синхронно отрабатывает в коде

1. alexshm 25.05.19 13:19 Сейчас в теме
Здравствуйте.
Задача - распарсить большое количество данных из интернета. У меня большой справочник, который я обхожу, для каждого элемента загружаю отдельную страницу из интернета, и собираю данные.
Сложность в том, что на сайте (это Меркурий ХС - гос. ветеринарная информационная система: http://mercury.vetrf.ru/hs) масса редиректов, сложная авторизация, аякс. Поэтому прикрутить простой HTMLзапрос не получается.
Официальный API Меркурия не отдает очень много нужной информации (в частности не отдет информацию о человекопонятном номере ВСД, о списанном в производство сырье). Он вообще заточен только принимать информацию, а отдавать - постольку - поскольку.
Если получать одну страницу - нормально отрабатывает элемент формы типа html-документ.
Но если нужно обработать пакетно много тысяч строк, возникает проблема. Элемент начинает обновляться только после остановки выполнения процедуры.
Можно, конечно, ставить таймеры и бить код на кусочки. Но сложность кода вырастает в разы.
Пока пользуюсь com подключением к ie8. Более поздние версии не прокатывают.
Но работает крайне нестабильно и администратору мешает обновлять систему. Да и вообще не дело из-за частной задачи держать на сервере устаревший ие.
AltBrowser https://infostart.ru/public/285787/ пока поставить не получается.

Может кто подскажет способ синхронно обновлять html-документ, не дожидаясь остановки выполнения? Или какую-нибудь работающую альтернативы ИЕ?
Подписаться на ответы Инфостарт бот Сортировка: Древо развёрнутое
Свернуть все
Оставьте свое сообщение

Для получения уведомлений об ответах подключите телеграм бот:
Инфостарт бот