StackRambler игнорирует моего робота :(

0

AM/PM

25 марта 2005, 23:33

493

Стал замечать, что сканирование роботами форума моего сайта стало тормозить сервер. Сегодня утром поставил стандартного робота с записью:

User-Agent: *

Disallow: /speak/

Disallow: /photos/

Первая папка - форум и все его файлы (форум на mySQL).

Вторая - папка с фотогалереями (файлы шаблонов и сами картинки).

Вечером заметил, что с адреса 81.176.67.106 StackRambler/2.0 (MSIE incompatible) прекрасно читается все то, что я запретил :(((

Вот пример прямо с экрана (апачевский status):

31-6 - 0/0/382 . 0.17 14803 210 0.0 0.00 1.93 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=72996&forumid=1 HTTP/1.0
32-6 - 0/0/288 . 0.15 14807 183 0.0 0.00 1.32 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=73025&forumid=1 HTTP/1.0
33-6 - 0/0/188 . 0.16 14807 181 0.0 0.00 0.81 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=73003&forumid=1 HTTP/1.0
34-6 - 0/0/149 . 0.13 14807 169 0.0 0.00 0.40 81.176.67.106 www.хххх.ru GET /speak/forum/message.html?id=73008&forumid=1 HTTP/1.0

Что не так? И как быть?

[Удален]

26 марта 2005, 00:24

#1

Ждать чуть-чуть. Скорее всего Rambler просто еще индексирует в соответствии со старым robots.

NL

212

NULL

26 марта 2005, 07:58

#2

Ops ... а я наивно полагал, что боты должны каждый раз проверять robots.txt прежде чем забирать что-либо. Выходит это не так?

298

Григорий Селезнев

26 марта 2005, 21:23

#3

Яндекс долго пинали за оное - исправился ...

Курс биткоина превысил $50 тысяч

Зачем быть уникальным в мире, где все можно скопировать