Посоветуйте сервис для обхода страниц сайта

C4
На сайте с 14.04.2012
Offline
49
1489

Всем привет. Нужен сервис, который будет ходить по сайту (обязательно учитывая инструкции robots.txt) и выявлять ошибки на сайте:

- отсутствие мета-тегов на страницах (Title|Description)

- Редиректы

- 404 ошибки

- битые ссылки

Это из основного, если что-то сервис умеет еще - отлично.

Проблема банальна, после релизов из-за криворуких разрабов постоянно отваливаются какие-то теги, страницы падают в 404. Сайтов много, страниц на них тоже, руками или через десктопные приложения никак. Нужен именно сервис, который будет ходить по расписанию, к примеру раз в неделю или две и формировать отчет.

Спасибо!

[Удален]
#1
ca4ok:
Всем привет. Нужен сервис, который будет ходить по сайту (обязательно учитывая инструкции robots.txt) и выявлять ошибки на сайте:

- отсутствие мета-тегов на страницах (Title|Description)
- Редиректы
- 404 ошибки
- битые ссылки

Это из основного, если что-то сервис умеет еще - отлично.

Проблема банальна, после релизов из-за криворуких разрабов постоянно отваливаются какие-то теги, страницы падают в 404. Сайтов много, страниц на них тоже, руками или через десктопные приложения никак. Нужен именно сервис, который будет ходить по расписанию, к примеру раз в неделю или две и формировать отчет.

Спасибо!

Радар.

C4
На сайте с 14.04.2012
Offline
49
#2

Спасибо, опишу впечатления после теста.

Optismile
На сайте с 30.05.2015
Offline
57
#3

ca4ok, интересует именно сервис?

Есть бесплатный десктопный софт Netpeak Spider, всё перечисленное вами делать умеет.

C4
На сайте с 14.04.2012
Offline
49
#4
Optismile:
ca4ok, интересует именно сервис?
Есть бесплатный десктопный софт Netpeak Spider, всё перечисленное вами делать умеет.

Руками обходить некогда.

Затестил радар. В целом нормально, работать можно, условиям заявленным удовлетворяет, алерты об изменениях присылает.

Единственное, есть косяк с www.site.ru и site.ru. Сервис по дефолту ставит site.ru, сменить это нельзя, а потом в отчете пишет, что site.ru/page.html имеет редирект на www.site.ru/page.html.

Понятное дело, она имеет редирект, ибо вы чекаете не тот домен 😂

Просьба все-таки дать выбрать основное зеркало вручную, чтобы бот не лазил там, где это не нужно.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий