Кроме роботс.тхт надо парсить саму нтмл-ку, т.е. всякие ноиндекс, не запихали ли это дело в скрипт, в комментарии, в тайтл и вообще, как только не поизвращались.
Единственное noindex можно закрыть т.к. модуль HTML::LinkExtor берет только ссылки.
Как писал Polite Moose allStars, в Вашей программе было бы неплохо еще и парсер robots.txt добавить. Ходить по ссылкам это да, но ведь часть путей может быть закрыта для поисковых роботов. И получится, что нужный фрагмент кода есть, но на недоступных страницах.
Спасибо за дополнение, я даже об этом не подумал 🍻
greenwood
Вы бы еще написали какие сервисы Вы хотели бы увидеть.
Все одно - как не верти - или раздавать всем код или проверять вручную.
Вручную?
Среднее кол-во страниц на сайтах заказчика 25000.
Newm
Конечно в чем-то вы правы.
Единственное noindex можно закрыть т.к. модуль HTML::LinkExtor берет только ссылки.
allStars, в Вашей программе было бы неплохо еще и парсер robots.txt добавить. Ходить по ссылкам это да, но ведь часть путей может быть закрыта для поисковых роботов. И получится, что нужный фрагмент кода есть, но на недоступных страницах.
Спасибо за дополнение, я даже об этом не подумал 🍻
Спасибо Scaramush,
Вы забыли про HTML::LinkExtor :)
Я знаю как написать, да и почти закончил работу.
Мне интересно где-нибудь есть подобный онлайн сервис?
А то я что-то сразу за программирование сел, даже не поискал, может уже где-нибудь это есть.
vladax
Например Перловым модулем LWP.
У меня, уже скоро как пол-года, страница описанная в каталоге не переиндексирована Яндексом.
В выдаче видна как "найдено по ссылке", но радует, что высоко пока.
Не сочтите за рекламу, clx.ru
Сегодня на одном из сайтов утром гугль-бар показывал ПР больше (+1).
Просмотрел бэкардс, там была всего одна страница - главная страница этого-же сайта.
Сейчас ПР и бэкварды как вчера :(
funnybunny
Вот я и нашел кто спамит на моей(и не только) доске объявлений,
таких вообще банить нужно, а не пятый раздел в каталог включать.
Оптимизаторы блин ...