Анализ сайта, создание файлов sitemap.xml и robots.txt, поиск внешних ссылок на сайте.

15.06.15

Интеграция - Сайты и интернет-магазины

Программа помогает Web-мастерам создавать файлы  sitemap.xml и robots.txt, а также отслеживать появление внешних ссылок на Вашем сайте.

Скачать файлы

Наименование Файл Версия Размер
Информационная база
.dt 84,35Kb
10
.dt 01 84,35Kb 10 Скачать
Описание программы
.doc 263,00Kb
3
.doc 01 263,00Kb 3 Скачать

Можно создавать файл вручную, но при разрастании сайта отслеживать за изменениями становится проблематично. 

Программа выполняет три процедуры:

  1. Скачивает сайт, ищет в нем ссылки, скачивает найденные ссылки и снова ищет на нем ссылки, до тех пор пока вся структура сайта не будет скачана. Всю собранную информацию программа собирает в справочник «Скачанные ссылки с сайта». Найденные внешние ссылки записываются в справочник «Внешние ссылки». Анализ внешних ссылок позволит исключить посторонний код на Вашем сайте.  Данная программа запускается отчетом «Прочитать структуру сайта и записать в справочник».  Для предотвращения зацикливания в константах надо указать число максимальное возможное количество скаченных страниц с сайта.
  2. Перенос данных из справочника найденных скачанных ссылок в справочник ссылок SiteMap и Robots. В справочнике ссылок SiteMap и Robots хранится информация о создании файлов. А именно: дата создания страницы, приоритеты, сроки обновления и т.д. Информацию туда можно вносить вручную или на основе собранной информации предыдущей обработки. Для переноса информации запустите отчет «Перенести скачанные файлы в справочник файлы Sitemap». Обработка перенесет информацию, если аналогичная ссылка уже находилась в справочнике, будет изменена только дата. При отсутствии ссылки создастся новая с параметрами по умолчанию.  Справочник «ссылок SiteMap и Robots» можно редактировать вручную,
  3. Создать файл sitemap.xml и robots.txt. Файлы создаются в каталоге, указанном в константах.
    После создания файлы можно переписать на свой сайт или отредактировать справочник и заново пересоздать файл. Файлы создаются по описанию файлов прочитанных с страниц согласно протоколу
    http://www.sitemaps.org/ru/protocol.html


Конфигурация содержит в себе справочник ссылок для файлов sitemap.xml и robots.txt, а также отчет создания файлов sitemap  и robots.

При формировании файла укажите домен сайта. Возможно создание файлов для нескольких сайтов.

Программа проверена на сайте
www.mailvirtual.ru  

для технической поддержки обращайтесь по электронной почте
info@mailvirtual.ru  или ICQ  443039.

Программа тестировалась на сайте http://www.mailvirtual.ru  2122 страниц
При отправке вопроса укажите название сайта.  Спасибо за понимание.

sitemap.xml robots.txt Анализ сайта внешние ссылки Сайт администрирование

См. также

API-интеграция 1С с маркетплейсами ОЗОН, WildBerries, Я.Маркет, СберМегаМаркет, Стройландия, Леруа Мерлен, Hoff, AliExpress для УТ11, КА2, ERP2, УНФ, БП3, Розница, УТ10, УПП1.3

Сайты и интернет-магазины Платформа 1С v8.3 1С:Комплексная автоматизация 1.х 1С:Управление торговлей 10 1С:Розница 2 1С:Управление производственным предприятием 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Бухгалтерия 3.0 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 1С:Розница 3.0 Беларусь Россия Управленческий учет Платные (руб)

Модуль для интеграции с маркетплейсами ОЗОН, WildBerries, Я.Маркет, СберМегаМаркет, Стройландия, Леруа Мерлен, Hoff, AliExpress. При помощи расширения поддерживаются следующие методы: обмен остатками товаров, обмен ценами, обработка заказов, печать стикеров, загрузка отчетов комиссионеров по API (в том числе Я.Маркет). Подходит для конфигураций Беларуси. Поддержка искусственного интелекта GigaChat

59990 руб.

05.09.2023    7100    87    74    

68

Интеграция Альфа Авто 5 / Альфа Авто 6 и AUTOCRM / Инфотек

Сайты и интернет-магазины WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 1С:Управление торговлей 11 Автомобили, автосервисы Россия Управленческий учет Платные (руб)

Интеграционный модуль обмена между конфигурацией Альфа Авто 5 и Альфа Авто 6 и порталом AUTOCRM. Данный модуль универсален. Позволяет работать с несколькими обменами AUTOCRM разных брендов в одной информационной базе в ручном и автоматическом режиме. Без существенных изменений типовой конфигурации. Проверено с брендами: Интеграция 1С и GEELY Интеграция 1С и HAVAL Интеграция 1С и KIA Интеграция 1С и FORD Интеграция 1С и LADA ГАРАНТИЯ 100% ВНЕДРЕНИЯ!

36000 руб.

03.08.2020    15729    10    17    

11

Оплата покупок "Долями" в 1С:Розница 2.3 (для работы с сервисом dolyame.ru)

Сайты и интернет-магазины Платформа 1С v8.3 1С:Розница 2 Розничная и сетевая торговля (FMCG) Россия Платные (руб)

Готовое интеграционное решение для оплаты покупок Долями в 1C:Розница 2.3. Реализовано в виде расширения. Интеграция сервиса dolyame.ru для приема платежей в рассрочку.

18000 руб.

19.12.2023    1170    6    1    

6

SALE! 15%

Обмен данными с сайтом. БП 3.0

Оптовая торговля Розничная торговля Сайты и интернет-магазины Платформа 1С v8.3 Бухгалтерский учет 1С:Бухгалтерия 3.0 Россия Бухгалтерский учет Платные (руб)

Обмен данными с сайтом на платформе 1С:Битрикс (и подобными) для 1С: Бухгалтерия предприятия 3.0.

12000 10200 руб.

18.03.2019    31269    109    100    

62

Интеграция 1С — Битрикс24. Обмен задачами

Сайты и интернет-магазины Интеграция WEB-интеграция Платформа 1С v8.3 Конфигурации 1cv8 Управленческий учет Платные (руб)

Интеграция 1С и Битрикс24. Разработка имеет двухстороннюю синхронизацию 1С и Битрикс24 задачами. Решение позволяет создавать пользователя в 1С из Битрикс24 и наоборот. Данная разработка технически подходит под все основные конфигурации линейки продуктов 1С:Предприятие 8.3 (8.3.18.1289). При приобретении предоставляется 1 месяц бесплатных обновлений разработки. Доступна демо-версия продукта с подключением Вашего Битрикс24

5040 руб.

04.05.2021    17543    6    15    

13

SALE! 33%

«Мониторинг цен» – сервис для отслеживания цен конкурентов на ведущих маркетплейсах России

Маркетплейсы Сайты и интернет-магазины 8.3.14 1С:Управление нашей фирмой 1.6 1С:ERP Управление предприятием 2 1С:Управление торговлей 11 1С:Комплексная автоматизация 2.х 1С:Управление нашей фирмой 3.0 Платные (руб)

Сервис помогает отслеживать цены на ведущих маркетплейсах России только для одного региона – Москва и Московская область. Выполняйте анализ и контролируйте цены Ваших конкурентов сразу в системе 1С.

2400 1608 руб.

29.05.2023    6646    25    37    

15

Выгрузка для АВИТО

Сайты и интернет-магазины Платформа 1С v8.3 1С:Розница 2 1С:Управление нашей фирмой 1.6 1С:Управление торговлей 11 Россия Платные (руб)

Выгрузка товаров услуг из 1С для сайта "Авито" раздел "Автозагрузка" выполнена в виде обработки. Обработка подходит для конфигураций УТ, УНФ и Розница. Данная обработка позволяет создавать шаблон с объявлениями для "Авито" - "Автозагрузка".

4200 руб.

07.06.2022    15334    42    56    

37
Комментарии
В избранное Подписаться на ответы Сортировка: Древо развёрнутое
Свернуть все
1. Makushimo 160 17.06.15 07:00 Сейчас в теме
назначение этой разработки в том, чтобы отлавливать вирусы и всякие атаки на сайт?
2. izofen 13 17.06.15 10:40 Сейчас в теме
Совершенно верно.
Если сайт взломан, то скорее всего на нем разместят ссылку на гвн-сайт. Все думают что мой сайт этого избежит, но при анализе всплывают куча ссылок которые надо удалять. Кроме этого создается файл sitemap и robots c обновленной информацией, а goole и yandex это нравиться и они чаще его посещают. Если нужна база (url зоны RU и SU) больше 8 мил. записей для поиска таких уязвимостей могу выслать – безвозмездно, то есть даром.
3. miavolas 168 25.07.15 12:43 Сейчас в теме
интересная обработка
4. vikupinov 29.06.16 07:23 Сейчас в теме
Все больше интересных обработок для связи с внешним миром
5. trader7777777 27.07.16 10:44 Сейчас в теме
Планируется ли развитие обработки или описание чего нибудь еще интересного из этой темы?
6. writer_info 10.02.17 14:05 Сейчас в теме
Автор пишет, что тестировал обработку на примере сайта какого то сайта , странно...я в принципе не нашел на этом ресурсе файла sitemap указываю в браузере http://mailvirtual.ru/sitemap.xml и не получаю ответа... решил сгенерировать такой файл указав простенькую ссылку http://1c-alfa-avto.ru/ и опять не работает..
Прошу откликнуться автора
Оставьте свое сообщение