Форум Поисковые системы Прочие поисковики

Lycos Insite и Inktomi Search/Submit - поведение робота

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
Sergey Petrenko
1343

Решил подумать о сабжах и возник вопрос - как ведет себя робот при такой платной индексации? Главный момент - пойдет ли робот по ссылкам, если за страницы по ним не плачено?

Поясню - Lycos Insite Select предлагает ввести список страниц, которые предлагается проиндексировать. Означает ли это, что робот не пойдет по этим ссылкам - или он просто не будет индексировать их с обещанной периодичностью, а пройтись все же пройдется? Во втором случае появляется возможность закинуть всего одну страницу - список тем форума, например, которая будет реиндексироваться каждые два дня, постоянно озадачивая робота свежей информацией.

У кого какие мнения? Желательно, основанные на фактах, конечно.

F
На сайте с 15.11.2000
Offline
116
funsad
#1
Первоначальное сообщение от Gray
Главный момент - пойдет ли робот по ссылкам, если за страницы по ним не плачено?

Такое поведение спайдера -- не редкость. Вот цитаты из форумов:

  • Первая:
    • Try this, give them a important (SEO)page below the index page. They will most often only list the index page in the displayed results but your submitted page will get the index page listed and pull up the entire site. Tried it on a new site, took about three weeks but it's now at 2-4 depending on the DB they are using.
  • Вторая:
    • Signed up for two domains with Lycos yesterday. I just submitted the index page of both to see what would happen. Their spider (T-Rex) crawled 300 pages on each one of the domains.
  • Третья:
    • I just used the Lycos service, submitted my index page and Lycos crawled the whole site.

С уважением,

Александр Садовский.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий