Inktomi-евский робот

Та же самая история с роботом. Так какой-нибудь рецепт есть? Или только молиться?

Молиться и ждать, и повышать ЛП сайта.

Спустя полгода робот пошел по ссылкам!

Правда очень не спеша.

Что еще интересно - явные ссылки на директории http://www.domain.com/path/ запрашивает сначала в виде

http://www.domain.com/path

Если интересно, то для статистики:

В этом месяце инктоми "скушал" у меня 27 из ~ 90 возможных страниц. От одной до десяти за день.

В прошлом - одну.

Раньше - к сожалению нет данных.

Статистика обращений к роботс.тхт мне, к сожалению, недоступна.

Тоже немного статистики.

С августа прошлого почти каждый день робот брал robots.txt и первую страницу. С первой страницы по ссылкам не шел. С начала мая начал потихоньку брать остальные. В базе видимых изменнений нет. Либо действительно Инктоми полгода на первой странице разминается :), либо что-то они в мае начали менять.

У меня примерно то же самое. Но вижу и изменения в базе Инктоми. Cразу группа сайтов появилась. Сабмитил где-то пол года назад.

У меня сайты в базу попадали довольно быстро. Да только редко больше одной страницы. Что не удивительно, потому как робот больше ничего и не брал. Сейчас надеюсь на изменение ситуации.