Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

DY
На сайте с 12.02.2006
Offline
86
dima yurgensen
358

Уважаемые форумчане!

Хотел спросить-для чего существует этот файл? Его предназначение?

Rayan
На сайте с 30.09.2005
Offline
49
Rayan
#1

/ru/news/144

"симфонияки" - symfony forum (http://forum.symfony.org.ua/)
K. Ermakov
На сайте с 10.12.2004
Offline
328
K. Ermakov
#2

http://www.robotstxt.org/wc/robots.html

http://www.citforum.ru/internet/search/rbtspec.shtml

http://www.yandex.ru/info/webmaster2.html

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
Каширин
На сайте с 03.01.2004
Offline
1031
Каширин
#3

Для управления поведением роботов на сайте. В том числе роботов поисковых систем. Вы можете указать им, что индексировать и как.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий