Форум Поисковые системы Яндекс

Может ли Яндекс лезть, куда не просят?

ВC
На сайте с 02.02.2006
Offline
463
Владимир-C
737

В корневую папку поместил файл файл robots.txt с весьма лаконичной записью:

User-agent: *

Disallow: /

Смотрю логи и вижу, что Яндекс по-прежнему просматриват сайт! А первая строка его посещения такая:

213.180.216.4 - - [15/Jun/2006:07:02:00 +0400] "GET /robots.txt HTTP/1.1" 404 309 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Что бы это значило?

FlyAway
На сайте с 01.06.2005
Offline
439
FlyAway
#1

Владимир-C, это значит, что он сожрал robots.txt и не пошел дальше.

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
TT
На сайте с 19.07.2005
Offline
10
T-Troll
#2
Владимир-C:


213.180.216.4 - - [15/Jun/2006:07:02:00 +0400] "GET /robots.txt HTTP/1.1" 404 309 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Что бы это значило?

Это значит, что что-то вы напутали - на запрос robots.txt возвращается 404 ошибка - то есть нет его. Нет и запрета.....

ВC
На сайте с 02.02.2006
Offline
463
Владимир-C
#3

Я привел только первую строку. А после нее еще много схожих записей. Примерно вот таких:

213.180.216.4 - - [15/Jun/2006:07:02:00 +0400] "GET /robots.txt HTTP/1.1" 404 309 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:06 +0400] "GET / HTTP/1.1" 200 19146 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:13 +0400] "GET /catalog/index.php?category=%E2%F1%E5_%EA%E0%F2%E5%E3%EE%F0%E8%E8&page=49 HTTP/1.1" 200 17735 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:20 +0400] "GET /linkexchanger/links_1138626603_5.html HTTP/1.1" 200 9438 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:30 +0400] "GET /linkexchanger/links_1138626903_2.html HTTP/1.1" 200 9975 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:38 +0400] "GET /linkexchanger/links_1138626685_12.html HTTP/1.1" 200 11282 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:45 +0400] "GET /catalog/links_1138627409_2.html HTTP/1.1" 200 8588 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.216.4 - - [15/Jun/2006:07:02:55 +0400] "GET /linkexchanger/links_1138626665_1.html HTTP/1.1" 200 10347 "-" "Yandex/1.01.001 (compatible; Win16; I)"

eTarget 2011: Круглый стол Отчет о конференции User Обзор семинара Леонида Гроховского
C
На сайте с 19.09.2001
Offline
120
Cherny
#4
Это значит, что что-то вы напутали - на запрос robots.txt возвращается 404 ошибка - то есть нет его. Нет и запрета.....

Абсолютно верно! Отсутствие файла robots.txt равносильно разрешению индексировать на сайте все, что угодно.

Владимир-С, проверяйте, что с Вашим файлом не так, может первая буква большая или все название файла в верхнем регистре?

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
K
На сайте с 31.01.2001
Offline
737
Kost
#5
T-Troll:
вы напутали - на запрос robots.txt возвращается 404 ошибка - то есть нет его. Нет и запрета.....

Теперь дошло?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
ВC
На сайте с 02.02.2006
Offline
463
Владимир-C
#6

Спасибо, Понял!

Некие подозрения у меня возникли...

FlyAway
На сайте с 01.06.2005
Offline
439
FlyAway
#7

Владимир-C, есть хороший сервис (у меня в подписи) в котором можно по Яндексу проверить правильность robots.txt, советую ;)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий