Загрузка товаров с Avito.ru / Авито (парсер поиска)

0. Александр Крынецкий (echo77) 740 08.09.14 21:15 Сейчас в теме
Обработка предназначена для загрузки результатов поиска с сайта бесплатных объявлений Avito.ru. Обычное приложение

Перейти к публикации

Комментарии
1. Анна - (MikaPikina) 17.09.14 11:53 Сейчас в теме
Прикольная штука.
Только интерфейс немного не дружелюбный...
2. Лена Архипова (elena_ar) 17.09.14 12:23 Сейчас в теме
интересная разработка! =)
3. Максим Рябов (M-Mark-76) 104 07.10.14 15:48 Сейчас в теме
Я так понимаю что сама обработка нуждается в шлифовке напильником, потому как по первому впечатлению косячки присутствуют, или Авито с переменным успехом борется с подобными обработками, хотелось бы уточнить - обновления будут? Или просто забить и пилить самому. А сама идей конечно полезная.
4. Александр Крынецкий (echo77) 740 07.10.14 16:31 Сейчас в теме
(3) Доработки идут ежедневно.
Да, все верно, Avito постоянно изменяет структуру страниц и приходится изменять код.
На самом деле я уже ушел в сторону написания конфигурации с заточкой под определенную специфику.
Обновления будут. Последнее проверю, скоро выложу.
О явных ошибках пишите
5. Максим Рябов (M-Mark-76) 104 09.10.14 16:36 Сейчас в теме
Тест последней версии на 09-10-14 показал вполне неплохие результаты, спасибо за быструю реакцию на обнаруженные ошибки
6. Гость 22.01.15 22:30 Сейчас в теме
При попытке поиска выдает ошибку
Ошибка при вызове метода контекста (Получить): Ошибка работы с Интернет: Problem with the local SSL certificate
В каких настройках это можно исправить?
винда- ХР
1С - 8.2.19.106
7. Александр Крынецкий (echo77) 740 23.01.15 12:44 Сейчас в теме
(6) Гость, приведите полностью текст ошибки и авторизуйтесь, пожалуйста
8. Виталий А (permnets) 23.01.15 13:44 Сейчас в теме
собственно это и есть вся ошибка
{ВнешняяОбработка.ЗагрузкаТоваровСAvito.МодульОбъекта(36)}: Ошибка при вызове метода контекста (Получить): Ошибка работы с Интернет: SSL connect error
возникает на строке
HTTPСервис.Получить(ПутьНаСайте, ИмяВременногоФайла);
9. Александр Крынецкий (echo77) 740 23.01.15 19:03 Сейчас в теме
(8) permnets, переделал на WinHTTP, попробуйте
10. Максим Козлов (Maxman72) 23.02.15 01:39 Сейчас в теме
При поиске выдает ошибку: {ВнешняяОбработка.ЗагрузкаТоваровСAvito.МодульОбъекта(786)}: Преобразование значения к типу Дата не может быть выполнено
пДата = Дата(пГод, пМес, пДень);

Платформа 8.3, УТ 10.3 Подскажите, что не так?
11. Дмитрий Тарасов (tarassov) 78 23.02.15 09:35 Сейчас в теме
любопытно.
За стармани не раздаете?
12. Александр Крынецкий (echo77) 740 24.02.15 10:31 Сейчас в теме
(10) Maxman72, если не сложно, укажите какой поисковый запрос делаете(можно в личку).
Будем смотреть
13. Сергей Ожерельев (Поручик) 3579 10.03.15 17:09 Сейчас в теме
Авито с некоторых пор стал глушить ip-адрес источника подозрительных запросов на скачивание контента. Адрес банится на время от 40 минут до нескольких часов.
14. Александр Крынецкий (echo77) 740 10.03.15 17:26 Сейчас в теме
15. alnovin (alnovin) 216 03.04.15 15:44 Сейчас в теме
А до номера телефона не стали копать? Можете оценить стоимость такого решения?
16. Александр Крынецкий (echo77) 740 03.04.15 15:54 Сейчас в теме
(15) alnovin,
1. Это сбор персональных данных
2. Стоимость - на порядок дороже
3. Эту лавочку забанят очень скоро после выхода рабочего варианта и придется придумывать что-то заново
17. Сергей Ожерельев (Поручик) 3579 03.04.15 22:05 Сейчас в теме
(15)(16) Там номер телефона в виде картинки, а адрес до неё шифруется в виде хитросделанного алгоритма на javascript. Я потратил часа три или четыре, чтобы перевести его на язык 1С.
18. Сергей Ожерельев (Поручик) 3579 18.05.15 15:34 Сейчас в теме
Вот. Поймал. Конфа своя

Доступ с вашего IP-адреса временно ограничен

Мы обнаружили на нём подозрительную активность, нарушающую работоспособность Avito.
Это могло быть вызвано следующими причинами:

вы обновляли одну страницу множество раз;

вы открывали большое количество вкладок со ссылками на наш сайт;

ваш компьютер заражен вирусом и создаёт опасность заражения других пользователей (обязательно проверьте свой компьютер на наличие вирусов);

c вашего адреса генерируется (возможно не вами) мощный поток данных, мешающий другим пользователям получать услуги в полном объёме.
Если вы считаете, что ваш адрес заблокирован по ошибке, напишите нам.
В обращении обязательно укажите:

ваш IP-адрес (его можно посмотреть на internet.yandex.ru);

название интернет-провайдера;

город проживания.
19. Александр Крынецкий (echo77) 740 19.05.15 08:02 Сейчас в теме
(18) 1. Какой поисковый запрос использовал?
2. Или вообще весь раздел сайта решил утащить?
3. Картинки сразу загружаешь вместе с объявлениями?

У меня такой ошибки еще ни разу не было
20. Сергей Ожерельев (Поручик) 3579 19.05.15 08:39 Сейчас в теме
(19) У нас своя конфигурация, использующая данные с авито. Сначала формируется HTTP-запрос, скачивается страница выдачи, потом сканирование таблицы с заходом в объявления, разбор объявления, скачивание первого изображения и изображения с телефоном.

Я просто показал, к чему может привести частое обращение к авито.
21. Сергей Сиренко (ssn1978) 468 05.10.15 10:49 Сейчас в теме
Не работает почему то...
{ВнешняяОбработка.ЗагрузкаТоваровСAvito.МодульОбъекта(61)}: Ошибка при вызове метода контекста (Send): Произошла исключительная ситуация (WinHttp.WinHttpRequest): Время ожидания операции истекло
22. Александр Крынецкий (echo77) 740 05.10.15 16:22 Сейчас в теме
(21) В каком разделе осуществляете поиск? Какие настройки обработки? Что вводится в строке поиска?
Попробуйте поставить флаг "Динамически загружать картинки"(так быстрее, возможно проблема в этом)
Прикрепленные файлы:
23. Александр Крынецкий (echo77) 740 05.10.15 16:32 Сейчас в теме
Качаем новую версию - внес небольшие исправления связанные с изменением оформления на авито
25. Александр Крынецкий (echo77) 740 02.12.15 21:20 Сейчас в теме
26. dimaster dimaster (dimaster) 39 09.01.16 00:11 Сейчас в теме
(17) Поручик,
можете поделиться скриптом вытаскивания телефонов?
оч не хватает в этой обработке
roofless; +1 Ответить
27. Александр Крынецкий (echo77) 740 21.05.17 15:34 Сейчас в теме
Как запустить 1С в режиме обычное приложение
Оставьте свое сообщение