Форум Практика оптимизации Doorways & Cloaking

robots.txt

S
На сайте с 28.08.2001
Offline
115
Shatun
1359

Cтатью о сабже () я прочитал, но вот где взять названия спайдеров для основных поисковиков - не знаю :-(

Может Подскажет кто-нибудь для этих:

Altavista

Google

Hotbot

AllTheweb / Fast

Lycos

Infoseek

Aol searsh

Excite

iwon

Northen Light

MSN

N
На сайте с 08.03.2001
Offline
22
Nicholas
#1

Перечислять все не буду, они разные бывают, поэтому дам наводящие ссылки:

  • <A HREF="http://www.spiderhunter.com/
  • " TARGET=_blank>http://www.spiderhunter.com/
  • </A> <A HREF="http://www.robotstxt.org/wc/robots.html
  • " TARGET=_blank>http://www.robotstxt.org/wc/robots.html
  • </A> <A HREF="http://searchenginewatch.internet.com/webmasters/spiderchart.html
  • " TARGET=_blank>http://searchenginewatch.internet.com/webmasters/spiderchart.html
  • </A> http://www.searchengineworld.com/spiders/spider_ips.htm

[This message has been edited by Nicholas (edited 07-09-2001).]

Николай
B
На сайте с 12.10.2001
Offline
5
beshan
#2

да !! ссылки весьма интересные

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий