Что такое и для чего ROBOTS.TXT?

L
На сайте с 16.08.2006
Offline
30
517

Здравствуйте, участники форума.

Я вот, темная, сегодня (!) только узнала, что есть такие Robots.txt.

И их, оказывается, можно использовать при оптимизации сайта!:)

Разъясните неопытному начинающему оптимизатору (который рискует таковым и остаться...), что Это такое и как с ним работать?

Может быть, ссылки на статьи познавательные подкинете?

Заранее всем спасибо !! :D

FlyAway
На сайте с 01.06.2005
Offline
439
#1

Leeana, вот отличная ссылочка: http://robotstxt.org.ru/ ;)

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
K. Ermakov
На сайте с 10.12.2004
Offline
328
#2
С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Hartamon
На сайте с 04.07.2006
Offline
165
#3

Вот здесь тоже есть кое-что: http://robotstxt.ru/

AVV
На сайте с 31.07.2006
Offline
84
AVV
#4
L
На сайте с 16.08.2006
Offline
30
#5

Спасибо всем! ))

Немного просвятилась...

А насколько, по вашему мнению,

эффективно использование Robots.txt при оптимизации?

antono
На сайте с 12.07.2004
Offline
303
#6
Leeana:
Спасибо всем! ))

Немного просвятилась...
А насколько, по вашему мнению,
эффективно использование Robots.txt при оптимизации?

На позиции в поисковиках он не влияет. Создан для оптимизации по ускорению индексации сайта и закрывания разделов, которые не следует роботу индексировать.

Yaroslav_Adv
На сайте с 27.09.2005
Offline
199
#7
Leeana:
Спасибо всем! ))

Немного просвятилась...
А насколько, по вашему мнению,
эффективно использование Robots.txt при оптимизации?

antono, уже объяснил, я дополню - использую всегда. Очень удобно закрывать разделы, которые роботу индексировать не нужно, для Яндекса есть очень полезная директива Host, которая позволяет объяснить роботу, какое из зеркал сайта является главным и т.д.

С уважением, Ярослав Деревягин Веб-агентство "Found (http://found-it.ru)"
SS
На сайте с 03.02.2006
Offline
35
#8

ОФФтоп. кстати смотрел давече логи и наткнулся, что некоторые боты сразу после прочтения роботс.тхт ломятся на запрещенные для индексации страницы.(!) причем среди них есть и гугловский и мсн. Че им там надо ваще? (в выдаче эти страницы они не показывают) шпионят? :)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий