Ребятам из Yandex

mnt
На сайте с 11.11.2002
Offline
107
mnt
674

Вам проще написать тут, чем на емайл.

Ваш робот с ua Yandex/1.01.001 (compatible; Win16; H) систематически не соблюдает robots.txt

(время не московское)

2003 13th December 07:11:13 2003

213.180.194.178 Yandex/1.01.001 (compatible; Win16; H)

2004 16th January 04:17:33 2004

213.180.194.138 Yandex/1.01.001 (compatible; Win16; H)

пробрался в мой скрипт по отлову качальщиков, который стоит в robots.txt как запрещенный. к другим роботам притензий нет.

Проверьте плз на баги, у меня гугл за всё время ниразу так плохо не поступал :/

И сразу встречний вопрос, у меня из - за этого был автоматически забанен робот Yandex/1.01.001 (compatible; Win16; H) - чем это чревато?

дорого куплю ссылки с хороших жирных русскоязычных авто сайтов.
[Удален]
#1

Странно, H - зеркальщик, по идее не должен ходить туда, где не было индексирующих роботов, смысла ему в этом ноль.

И сразу встречний вопрос, у меня из - за этого был автоматически забанен робот Yandex/1.01.001 (compatible; Win16; H) - чем это чревато?

Зеркала автоматом не будут клеиться. Если с этим все нормально, то ничем.

Fitis
На сайте с 28.08.2003
Offline
184
#2

mnt, тут уже много плевались по поводо невежливости робота Ya, которому абсолютно параллельно на robots.txt.

Боюсь, Ваш пост - "глас вопиющего в пустыне".

С уважением, Константин.
Avatar
На сайте с 18.05.2003
Offline
168
#3

Я я, натюрлих. И еще я спрашивал, что за такие поползновения от бота яндекса на страницы с параметрами, которые им сам бот привинтил. И вопрос, на кой леший он выудил страницы, на которых ссылок нигде !!! не было (были только ссылки на картинки, лежащие в каталоге, но с других страниц и с АБСОЛЮТНЫМИ путями к картинкам!)

Теперь я в выдаче вижу еще и "корешки" этих каталогов (ну нет в них index.htm* за ненадобностью...!)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий