Yandex experimental

Интересно, это подарок любителям 100-килобайтных robots.txt...;)

Хотя... Зачем уж так светится роботу?

Или "в запаре" промахнулись?🙄

В общем - что-то химичат в Яндексе.

В Яндексе доперли, что в роботсе запрещают всё самое интересное 😂

Чо-т роботы Яши бесются. "Грядут перемены" (с)

Все-таки как вариант - полная осведомленность о содержании сайта поможет более точному ранжированию. Ведь то, что закрыто в роботсе пользователь видит...

только что увидел и бродит именно по запрещенным урлам.. и с бешенной скоростью (1-3 урл/сек) 🙄

скорость тоже опасная была - утром 220 паг за 11сек. совместно с индексатором забрал. хорошо, что легкие они сравнительно

Да... Опасно становится жить в инете... Робот-зверь!:)

Мне тут админ один жаловался, что робот Яндкса кладет замертво сервер(!) 2-х яйц... ядерный Ксенон. Еще немного и стандартная скорость станет полпаги/час...

ЗЫ: Во времена старинные, почти уже былинные, когда АПов еще не было и в помине, а серп менялся в Я "на лету"... Жили-были WEB-сервера на 3-х пнях и качал Яндекс скока мог сервер отдавать... 10-12 запросов/сек нормой были. А кто не справлялся - тот не жилец в Рунете был. ;)

Вы полагаете что яндекс сам нарушает свою лицензию на поиск?:)

а если у меня там на сайте в запрещённой директории лежит куева туча тонн порнухи зашифрованной в файлах xxx.html? =))))) робот то неподавитсо?:)

Текстовое порно? - Это круто!☝

Подавятца дяди из отдела "К" от такой нахалки...😂

гипертекстовое =) это круче=))