Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Яндекс бот

kokocuk
На сайте с 20.06.2009
Offline
160
kokocuk
305

Индексирует ли Яндекс бот (I) страницы с забаненого сайта?

Revan
На сайте с 09.09.2005
Offline
321
Revan
#1

Краулить - краулит.

А вот индексирует или нет - не знаю.

Бегает, в общем. А вот что он с ними делает - не ясно.

С уважением, Прокофьев Александр, founder KudaGo.com (http://kudago.com). Отдаем информацию обо всех мероприятиях в РФ + Киев по API (/ru/forum/912869) всем желающим.
[Удален]
#2

заходы на сайт совершает, а в индекс страницы не оставляет, а раз приходит значит индексирует

LaN
На сайте с 24.03.2008
Offline
80
LaN
#3

ходит по ним, анализирует, но может включать или не включать в поиск.

М
На сайте с 24.06.2009
Offline
10
Мексиканец
#4

была подобная ситуация, I бот бегал долгое время по сайту, но сайт в индекс так и не вошел.

kokocuk
На сайте с 20.06.2009
Offline
160
kokocuk
#5

Просто ситуация такая была...

Был куплен домен, затем на него была повешена стат. страничка (хтмл-ка). Яндекс её проиндексировал и добавил в выдачу. Через некоторое время на этот домен был повешен 301 редирект, но в индексе страничка оставалась, без содержания. Неделю назад на него был повешен один ГС )) Его начал хавать I бот, но несколько дней назад эта страничка выпала из индекса. Но I бот продолжает активно кушать все страницы. Вот например последнее его появление:

87.250.252.241 - - [18/Jan/2010:23:19:40 +0300] "GET /*******.html HTTP/1.0" 200 11687 "-" "Yandex/1.01.001 (compatible; Win16; I)"

Через аддурилку ГС нормально добавляется. Вот не знаю, бан это или просто вынос из индекса из-за 301 редиректа )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий