Форум Поисковые системы Прочие поисковики

Mail.ru игнорит robots.txt

12
MB
На сайте с 24.02.2009
Offline
182
Mister_Black
#11

не надолго хватило запрета ходить по страницам для мейла, опять сканирует всё подряд, при чём только бот Mail.RU/2.0, он похоже кушает роботс через раз когда ему вздумается.

остальные прекрасно слушаются роботс.тхт, даже baidu и yandex сканируют только сами новости.

будет ли гугл считать 0 страниц в индексе. Яндекс удивил скоростью индексации
S
На сайте с 28.10.2005
Offline
318
semenov
#12

Ловите его по user-agent

Z
На сайте с 22.09.2008
Offline
31
zvezdnii
#13
weblandex:
Mail свое уже прожил, пора на пенсию ему а почтовые акки гуглу отдать.

Ну-ну. Учитывая что поиску мейла всего 2 года и он самый молодой и самый быстрорастущий поиск с пенсией нужно пока подождать. )

Да, у Поиска@Mail.Ru - есть свой движок. ;-)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий