Inktomi-евский робот

12
kit
На сайте с 01.05.2001
Offline
190
kit
3139

Странное дело. Сегодня получил тучу реквестов к robot.txt от робота инктоми. При этом ни одной паги он не забрал.

Ктонить может сказать, почему так?

...может он паги забирает прикидываясь каконить мазиллой?

Master-X.com (http://www.master-x.com) - крупнейшее сообщество русскоязычных эдалт вебмастеров.
AiK
На сайте с 27.10.2000
Offline
257
AiK
#1

Блин, та же беда - куча обращений к robots.txt и /, а дальше тишина...

И так несколько дней к ряду

kit
На сайте с 01.05.2001
Offline
190
kit
#2

Я ошибся, когда написал "сегодня". Так длится уже довольно давно. Поигрался с robots.txt, все равно не идет проклятый внутрь. Есть еще одна версия - может он скорость прокачки проверяет? Если не устраивает, то адью..

Есть еще идеи?

wolf
На сайте с 13.03.2001
Offline
1183
#3

У меня логи читать нет возможности, чтоб глянуть как ходил робот, и нет файла robots.txt на сервере, но страничка с сайта появилась в ХотБоте, который пользуется базой Инктоми, через неделю после сабмита. В Direct Hit и DMOZ, которые тоже поставляют данные для ХотБота этой страницы нет. Значит, берется из Инктоми. Видимо, кому как повезет.

[This message has been edited by wolf (edited 22-05-2001).]

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
K
На сайте с 31.01.2001
Offline
737
#4

<font face="Verdana" size="2">Originally posted by AiK:
Блин, та же беда - куча обращений к robots.txt и /, а дальше тишина...
И так несколько дней к ряду
</font>

Аналогично. Дёргает / (там линк есть), robots.txt с завидным постоянством. По линку не пошел ни разу за несколько месяцев. Убрал robots.txt - не помогло. Может я как-нибудь не так засабмиттился. Через что - уже не помню. Как его пустить по линкам, уж очень часто заходит и всё без толку?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
N
На сайте с 08.03.2001
Offline
22
#5

а я-то думал я одинок в своем горе

В буржуйских форумах читал, что ждать приходится довольно долго, выход - платить.

[This message has been edited by Nicholas (edited 25-08-2001).]

Николай
kit
На сайте с 01.05.2001
Offline
190
kit
#6

Это не поможет проиндексить весь сайт. ТОлько пагу, за которую заплатил.

Проверено.

N
На сайте с 08.03.2001
Offline
22
#7

Буквально вчера видел как бот заглотил одну(!) пагу.

kit
На сайте с 01.05.2001
Offline
190
kit
#8

Да, и у меня стал индексировать. Неспешно так.

Выходит раньше пол года индекса не жди.

SC
На сайте с 30.08.2001
Offline
0
SDC
#9

<font face="Verdana" size="2">Originally posted by wolf:
У меня логи читать нет возможности, чтоб глянуть как ходил робот, и нет файла robots.txt на сервере, но страничка с сайта появилась в ХотБоте, который пользуется базой Инктоми, через неделю после сабмита. В Direct Hit и DMOZ, которые тоже поставляют данные для ХотБота этой страницы нет. Значит, берется из Инктоми. Видимо, кому как повезет.

[This message has been edited by wolf (edited 22-05-2001).]
</font>

Подскажи пожалуйста в какой домменой зоне у тебя сайт (ру или ком,...), и кто твой регистрант.

S. D. C.
wolf
На сайте с 13.03.2001
Offline
1183
#10

<font face="Verdana" size="2">Originally posted by SDC:
Подскажи пожалуйста в какой домменой зоне у тебя сайт (ру или ком,...), и кто твой регистрант.</font>

в зоне .com , а кто регистрант - не знаю, сайт не мой, я лишь делаю ему промоушн.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий