яша игнорирует роботс.тхт :(

Crawl-delay не пробовал?

Может кто под Яндекс косит?

если речь идет о itnsk.net

то файл написан криво. Что там за звездочки? По стандарту символы подстановки использовать нельзя.

хотя сейчас посмотрел - яндекс пишет что поддерживает их.

звездочки он понимает, в панели вебмастера в разделе ошибки написано: "Документ запрещен в файле robots.txt 79688" ... но всеровно сцуко лезет 😡

+в той же панели делал проверку роботс.тхт, панель говорит что все валидно ..

TNT добавил 15.08.2008 в 01:29

нет, я по айпи определяю а не по юзер-агенту ..

TNT добавил 15.08.2008 в 01:29

надо попробовать .. счаз погуглю погляжу что это :)

А я боролся с ошибками все вычистил, но яша спустя месяц телепатически нарыл все что до этого якобы забыл. Я забил чистить ошибки удаленные разделы конце концов за 3-4 года мог бы и забыть и перестать лазать там все равно нет, не чего. Я так понял яша или маразматик или склеротик, чего в данном случае больше решать вам.

Исправляйте robots.txt. Звездочки поддерживает только Яндекс и Google. А у вас они в секции для всех роботов. В секции же для Яндекса нет вообще Disallow - ему можно всё индексировать.

Читайте http://robotstxt.org.ru/ и http://help.yandex.ru/webmaster/?id=996567.

User-agent: *

Crawl-delay: 10

то что он маразматик и склеротик это понятно, вы лучше бы подсказали как ему вправить мозги :)

зыж: хех, чтоб он мои доры также индексировал :D кста .. это идейка - тексты вакансий оптимизировать под адалт 🚬 ...

"программист С++ трахается за порно зарплату 45000. знание windows.forms ебет бабушек собак" итп 🙄

TNT добавил 15.08.2008 в 02:20

погуглил, оказалось это только для гугля работает (сорри за тафтологию) ..

http://help.yandex.ru/webmaster/?id=996567#1022359

Попробуй поискать в Яндексе 😂 , глядишь, окажется, что в Яше работает 😂