Форум Поисковые системы Яндекс

Логика поведения робота Яндекса

D
На сайте с 28.06.2008
Offline
1104
Dram
1270

Господа нужно знать следующее:

1. Если в роботс.тхт урл запрещен к индексации - перейдет ли по нему робот Яши или железно нет?

2. При заходе на сайт всегда ли он обращаается к файлу роботс.тхт или нет?

sirota77
На сайте с 08.09.2008
Offline
161
sirota77
#1
Dram:
Если в роботс.тхт урл запрещен к индексации - перейдет ли по нему робот Яши или железно нет?

На своём сайте как то видел, залез. Но было единожды, или больше в глаза не бросилось, а может ходил кто то с юзерагентом от яндекса.

Dram:
При заходе на сайт всегда ли он обращаается к файлу роботс.тхт или нет?

Нет, он проверяет его периодически, но не перед загрузкой каждой страницы.

MW
На сайте с 28.05.2010
Offline
136
MxWhite
#2
Dram:
Господа нужно знать следующее:

1. Если в роботс.тхт урл запрещен к индексации - перейдет ли по нему робот Яши или железно нет?

2. При заходе на сайт всегда ли он обращаается к файлу роботс.тхт или нет?

У меня не только перешел, а еще и проиндексировал страницу которая запрещена в роботс.

D
На сайте с 28.06.2008
Offline
1104
Dram
#3

Тогда еще вопрос, IP ботов совсем разный или первые 3 или 6 цифр всегад одинаковый?

Mangusten
На сайте с 24.11.2008
Offline
44
Mangusten
#4

Dram,

1. Железно нет, если всё грамотно закрыто

2. Всегда

Рекомендации по оптимизации сайта (не путать с продвижением). В личку.
genixxx
На сайте с 19.05.2009
Offline
57
genixxx
#5

Проводил небольшой эксперимент - на довольно посещаемом сайте ставил ссылку на главной вот такую:

<noindex><a href='/document.html' id='doc_id' rel='nofollow'>документ</a></noindex>

В CSS ссылка была скрыта параметром:

a#doc_id {display:none;}

в robots.txt запрещал к индексации этот документ вот примерно так:

User-agent: *
Disallow: /document.html

В самом документе скрипт записывал все визиты с реферами, IP-адресами и юзер-агентами.

Через три дня в файле логов захода было около 30 строчек от разных поисковых ботов, включая гугл, яндекс и т.п.

После этого я не верю в правила для поисковиков.

P.S. не забывайте, что у Яндекса есть специальные боты, которые подменяют реферер и заходят с других IP-адресов для проверки на клоакинг и прочие нехорошие методы работы. А еще есть пользователи яндекс-бара, о влиянии которых на индексацию тоже много было перетерто.

Система тематического комментирования блогов (http://www.plati.ru/asp/pay.asp?idd=1044022)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий