Проверка доступности ссылок в robots.txt

[Удален]
1491

Нашел например сайт, где можно оставить свою ссылку. RDSbar показывает, что ссылка будет индексироваться (нет запрета noindex i nofollow). Только проблема в том, что такой тип страниц может быть закрытый на индексацию в robots.txt. Есть ли сео плагин к Фаэрфоксу например, который проверяет сайт и ссылки на нем не только по параметрах noindex i nofollow, но и на доступность этой страницы для индексации поисковиками в robots.txt?

S7
На сайте с 20.11.2009
Offline
33
#1

darmoid, не уверен, но надеюсь можно так посмотреть: www.sajt.ru/robots.txt

Вместо "sajt" вставить реальный домен.

[Удален]
#2

Да я сам знаю, что так можно посмотреть :) Представьте, что имеется база с кучей сайтов. Заходить в robots.txt каждого сайта и искать нет ли запрета на индексацию по времени очень долго. Я не верю, что не существует плагина, который проверяет на доступность ссылки.

TD
На сайте с 09.01.2011
Offline
0
#3

Если правильно вас понял то: Ping-Admin.Ru - платный, но при регистрации на счете есть начальный баланс.

Веб разработки на Php, MySQL, Ajax. (/ru/forum/591293) icq: 9899287, E-mail: theDrup@gmail.com

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий