Парсинг (сканирование) сайта из 1С на примере сайта по криптовалюте

25.10.17

–

Актуальная обработка с конфигурацией по парсингу на примере сайта http://coinmarketcap.com/ Сканирует всю историю курсов криптовалют.

Скачать исходный код

	Наименование	Файл	Версия	Размер
	Парсинг (сканирование) сайта из 1С: .cf 1,41Mb 19	.cf	1.1	1,41Mb	19	Скачать

Саму же доработку можно переделать под парсинг любого несложного сайта.

Особенности

Используется компонента, которая нормализуют html код, благодаря чему он становится валидным для парсинга.
Другая компонента позволяет считывать код html по тегам, что упрощает работу со страницей.
Понадобится зарегистрировать эти компоненты.
Лучше запускать 1С под правами администратора, иначе может не взлететь.
Для работы потребуется установленный Net Framework 4 и Elisy .Net Bridge
Если парсер не запускается при выполнении вышеизложенных условий - значит нужно руками зарегистрировать компоненту //infostart.ru/public/165910/

Тестировалось на платформе: 8.3.9.1850.

Парсинг сайтов сканирование сайтов

–

См. также

API-интеграция 1С с маркетплейсами ОЗОН, WildBerries, Я.Маркет, СберМегаМаркет, Стройландия, Леруа Мерлен, Hoff, AliExpress для УТ11, КА2, ERP2, УНФ, БП3, Розница, УТ10, УПП1.3

Сайты и интернет-магазины Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Беларусь Россия Управленческий учет Платные (руб)

Модуль для интеграции с маркетплейсами ОЗОН, WildBerries, Я.Маркет, СберМегаМаркет, Стройландия, Леруа Мерлен, Hoff, AliExpress. При помощи расширения поддерживаются следующие методы: обмен остатками товаров, обмен ценами, обработка заказов, печать стикеров, загрузка отчетов комиссионеров по API (в том числе Я.Маркет). Подходит для конфигураций Беларуси. Поддержка искусственного интелекта GigaChat

59990 руб.

05.09.2023 8101 123 74

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме.

36000 руб.

03.08.2020 15910 14 18

Оплата покупок "Долями" в 1С:Розница 2.3 (для работы с сервисом dolyame.ru)

Сайты и интернет-магазины Платформа 1С v8.3 1С:Розница 2 Розничная и сетевая торговля (FMCG) Россия Платные (руб)

Готовое интеграционное решение для оплаты покупок Долями в 1C:Розница 2.3. Реализовано в виде расширения. Интеграция сервиса dolyame.ru для приема платежей в рассрочку.

18000 руб.

19.12.2023 1451 10 3

Обмен данными с сайтом. БП 3.0

Оптовая торговля Розничная торговля Сайты и интернет-магазины Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Обмен данными с сайтом на платформе 1С:Битрикс (и подобными) для 1С: Бухгалтерия предприятия 3.0.

12000 руб.

18.03.2019 31478 110 100

Множественные свойства в УТ (ERP, КА), УНФ для выгрузки на сайт в Битрикс

Оптовая торговля Розничная торговля Сайты и интернет-магазины Платформа 1С v8.3 1С:Управление торговлей 11 Управленческий учет Платные (руб)

Расширения для возможности ввода в УТ (ERP КА), УНФ, Рознице 2 множественных свойств и выгрузки значений их на сайт Битрикс.

6000 руб.

29.11.2017 65528 764 108

207

Интеграция 1С — Битрикс24. Обмен задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс24. Разработка имеет двухстороннюю синхронизацию 1С и Битрикс24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (8.3.18.1289). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021 17843 6 15

Универсальный парсер интернет-магазинов

Оптовая торговля Розничная торговля Сайты и интернет-магазины Платформа 1С v8.3 Управляемые формы 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х Россия Управленческий учет Платные (руб)

С того времени, как я начал парсить сайты, прошло много лет. За это время я спарсил более 100 сайтов и записал эти товары в 1С. В итоге на свет появился универсальный парсер, который поможет Вам спарсить интернет-магазин и при этом не написать ни строчки кода.

9600 руб.

19.10.2018 52151 220 99

111

«Мониторинг цен» – сервис для отслеживания цен конкурентов на ведущих маркетплейсах России

Маркетплейсы Сайты и интернет-магазины 8.3.14 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Сервис помогает отслеживать цены на ведущих маркетплейсах России только для одного региона – Москва и Московская область. Выполняйте анализ и контролируйте цены Ваших конкурентов сразу в системе 1С.

2400 руб.

29.05.2023 6794 26 37

Комментарии

Подписаться на ответы

Свернуть все

1. swimdog 765 25.10.17 12:36 Сейчас в теме

Компонента не BadRabbit называется? ))

2. ollega 115 25.10.17 12:38 Сейчас в теме

HtmlAgilityPack_dll и ElisyNetBridge

3. mikl79 118 26.10.17 09:44 Сейчас в теме

Добрый день.
установил компоненту, но все равно пишет Установите компоненту и т.д.

по отладчику отловил, не выполняется функция ПодключитьВнешнююКомпоненту("Elisy.NetBridge4")

подскажите в чем проблема?

4. ollega 115 26.10.17 09:48 Сейчас в теме

(3) 1С должна быть запущена от имени Администратора, если это не помогает - значит нужно руками зарегистрировать компоненту, описано тут: https://infostart.ru/public/165910/

5. mikl79 118 26.10.17 11:04 Сейчас в теме

(4), у меня сервер 1с 32-разрядный

6. mikl79 118 26.10.17 11:09 Сейчас в теме

действительно, когда 1с запустил от имени Администратора загрузка пошла, в чем прикол?

7. ollega 115 26.10.17 11:11 Сейчас в теме

(6) значит прав не хватает 1Ске на работу с компонентой.

8. mikl79 118 26.10.17 11:12 Сейчас в теме

только валюта создалась не корректная, в наим-ии, например, LTC¶ Litecoin,
а Сокр. наим-е пустое

9. ollega 115 26.10.17 11:14 Сейчас в теме

(8) Значит что-то в сайте изменилось за это время, у меня нормально сканировалось. Поправлю - залью снова. (попозже)

10. mikl79 118 26.10.17 11:15 Сейчас в теме

и до сих пор грузит, до каких времен он будет грузить?

11. ollega 115 26.10.17 11:18 Сейчас в теме

(10) 1000 с лишним валют - грузит долго первый раз. Может час.
Прервать загрузку всегда можно нажатием CTR+Break

12. mikl79 118 26.10.17 11:33 Сейчас в теме

спасибо, для себя приятно узнал, что в УФ реализовали ОбработкаПрерыванияПользователя и Состояние, наконец-то

13. rpgshnik 3645 07.11.17 12:21 Сейчас в теме

Эта компонента ПодключитьВнешнююКомпоненту("Elisy.NetBridge4") если демо, сколько раз она работает?

14. ollega 115 07.11.17 12:25 Сейчас в теме

(13) У клиента стоит уже около года и не жалуется...

15. rpgshnik 3645 07.11.17 12:31 Сейчас в теме

(14) хм... а я сначала обрадывался всё круто отработало. А потом отвалилось напрочь. Подумал может количеством запусков как-то ограниченно. Там постоянно выскакивает окно - что версия ограниченная.

Глюк смог поправить путем перезапуска скриптов в корне "софтины" unreg.vbs и reg.vbs

16. ollega 115 07.11.17 12:44 Сейчас в теме

(15) Хм, может кому полезна будет эта информация, у самого проблем не возникало подобных.

17. rpgshnik 3645 08.11.17 12:05 Сейчас в теме

(16) Добрый день. Если не сложно помогите разобраться в методах.
Запилил такой код при разборе страницы:

	НодыСтраницы = HAP.DocumentNode.SelectNodes(".//div");
	Результат = "";
	Для i = 0 По НодыСтраницы.Count - 1 Цикл
		Результат = Результат + "Нод " + i + " [" + ЧтоТутНаписать + "] InnerText ========================" 
		+ НодыСтраницы.get_Item(i).InnerText + Символы.ПС + "========================";		
	КонецЦикла;

Хочу получить сам нод, как он представлен в хтмл... т.е. к примеру <div class="detail-list">
Я попробовал НодыСтраницы.get_Item(i) , он мне вернул [COMОбъект] :)))