Форум Практика оптимизации Любые вопросы от новичков по оптимизации

ФАК, помогаем! Что такое роботс тхт?

505

6666

25 октября 2006, 15:59

16136

Очередной вопрос от начинающих:

1. Что такое robots.txt?

2. В какой программе его можно сделать?

3. Где посмотреть информацию ? (ссылки)

Каждое мое сообщение проверила и одобрила Елена Летучая. (c) Для меня очень важно все что Вы говорите! (http://surrealism.ru/123.mp3) .

271

lexalink

25 октября 2006, 16:02

1) Файл, содержащий команды для поисковых роботов. Например, указания не индексировать те или иные страницы. Или указание считать данный сайт зеркалом другого сайта.

Файл должен находиться в корневой папке.

2) в блокноте

3) http://robotstxt.org.ru/

http://www.citforum.ru/internet/search/rbtspec.shtml

http://ru.wikipedia.org/wiki/Robots.txt

http://www.rietta.com/robogen/

http://www.netpromoter.ru/metatag/help/robots_editor.html

Посмотреть, как Яндекс понимает Ваш robots.txt можно тут:

http://www.yandex.ru/cgi-bin/test-robots

Рад новым знакомствам ( арбитраж, майнинг, сео, трафик и т.д.) - @lexalink (https://t.me/lexalink)