Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 25.10.2000, 05:46   #1
Администратор
 
Аватар для Gray
 
Регистрация: 23.10.2000
Адрес: Украина
Сообщений: 8,985
Репутация: 1531615
Социальные сети

Post Имена роботов

Накопал список имен роботов. Для клоакинга он, конечно, не годится. Его полезно использовать для написания robots.txt. Если кто знает больше имена, дополните список, пожалуйста.

AltaVista: Scooter
Infoseek: Infoseek
Hotbot: Slurp
AOL: Slurp
Excite: ArchitextSpider
Google: Googlebot
Goto: Slurp:
Lycos: Lycos
MSN: Slurp
Netscape: Googlebot
NorthernLight: Gulliver
WebCrawler: ArchitextSpider
Iwon: Slurp
Fast: Fast
DirectHit: Grabber
Yahoo Web Pages: Googlebot
Looksmart Web Pages: Slurp
Gray вне форума   Ответить с цитированием

Реклама
Старый 25.10.2000, 06:03   #2
pseudo_jabir
Студент
 
Регистрация: 24.10.2000
Сообщений: 26
Репутация: 40

Post

Цитата:
Originally posted by Gray:
Накопал список имен роботов.
Зачем они нужны, и причем здесь robot.txt?
pseudo_jabir вне форума   Ответить с цитированием
Старый 25.10.2000, 06:34   #3
Gray
Администратор
 
Аватар для Gray
 
Регистрация: 23.10.2000
Адрес: Украина
Сообщений: 8,985
Репутация: 1531615
Социальные сети

ТопикСтартер

Полезно, когда делаешь дорвеи, заточенные под разные машины. Кладешь их на сайт, пишешь robots.txt. В нем расписываешь, какому агенту какой файл можно читать. В поле User-agent надо при этом указывать имя робота, которое и указано в списке.

Вообще, есть у меня классное руководство на английском по написанию такого файла. Дойдут руки, переведу, выложу.
Gray вне форума   Ответить с цитированием
Старый 25.10.2000, 18:01   #4
Evgenij
Студент
 
Регистрация: 24.10.2000
Адрес: Saratov, Russia
Сообщений: 42
Репутация: 40

Post

А еще это полезно при применении технологии маскирования страниц (page cloaking).
Evgenij вне форума   Ответить с цитированием
Старый 26.10.2000, 01:57   #5
pseudo_jabir
Студент
 
Регистрация: 24.10.2000
Сообщений: 26
Репутация: 40

Post

Цитата:
Originally posted by Gray:
Полезно, когда делаешь дорвеи, заточенные под разные машины. Кладешь их на сайт, пишешь robots.txt. В нем расписываешь, какому агенту какой файл можно читать. В поле User-agent надо при этом указывать имя робота, которое и указано в списке.

Вообще, есть у меня классное руководство на английском по написанию такого файла. Дойдут руки, переведу, выложу.
Понятно. Я думал, что в этом файле просто указываешь страницы которые не стоит индексировать.
Вообще трудно представить зачем не надо индексить некоторые страницы.
pseudo_jabir вне форума   Ответить с цитированием
Старый 26.10.2000, 04:33   #6
Gray
Администратор
 
Аватар для Gray
 
Регистрация: 23.10.2000
Адрес: Украина
Сообщений: 8,985
Репутация: 1531615
Социальные сети

ТопикСтартер

Затем, что, если ты делаешь дорвеи, заточенные под разные SE, то они все равно, как правило, очень похожи. Если, например, Алтависта найдет кучу таких страниц, она сочтет это спамом и не будет ничего индексить вообще. Файлом robots.txt ты определяешь, какой робот что читает.
Gray вне форума   Ответить с цитированием
Старый 26.10.2000, 04:38   #7
Gray
Администратор
 
Аватар для Gray
 
Регистрация: 23.10.2000
Адрес: Украина
Сообщений: 8,985
Репутация: 1531615
Социальные сети

ТопикСтартер

Цитата:
Originally posted by Evgenij:
А еще это полезно при применении технологии маскирования страниц (page cloaking).
Нет, Женя, этиих имен недостаточно. Для клоакинга надо знать IP роботов, потому, что в этом случае работает CGI скрипт, который не читает имен роботов.
Gray вне форума   Ответить с цитированием
Старый 26.10.2000, 05:12   #8
pseudo_jabir
Студент
 
Регистрация: 24.10.2000
Сообщений: 26
Репутация: 40

Post

Цитата:
Originally posted by Gray:
Затем, что, если ты делаешь дорвеи, заточенные под разные SE, то они все равно, как правило, очень похожи. Если, например, Алтависта найдет кучу таких страниц, она сочтет это спамом и не будет ничего индексить вообще. Файлом robots.txt ты определяешь, какой робот что читает.
спасибо за науку

pseudo_jabir вне форума   Ответить с цитированием
Старый 29.10.2000, 00:31   #9
frost
Дипломник
 
Регистрация: 28.10.2000
Сообщений: 73
Репутация: 234

Exclamation

Кстати есть статья на эту тему вот прямая ссылка :

[This message has been edited by Gray (edited 28-10-2000).]
frost вне форума   Ответить с цитированием
Старый 29.10.2000, 00:52   #10
Gray
Администратор
 
Аватар для Gray
 
Регистрация: 23.10.2000
Адрес: Украина
Сообщений: 8,985
Репутация: 1531615
Социальные сети

ТопикСтартер

Фрост, ты меня уже задолбал ссылками на свой сайт. Я тебя звал не спамить на борде.
Если есть, что сказать - говори.
Gray вне форума   Ответить с цитированием
Ответ



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны