как создавать robots.txt?

galbird, в сети полно информации:

http://robotstxt.org.ru/

http://www.creater.ru/index.php?tid=86&article_id=61

..поиск..

+ на этом форуме:

/ru/forum/86666

Обязательные "директивы"

User-agent — указание обращения к конкретному (User-agent: Yandex) или всем (User-agent: *) роботам.

Disallow — запрет страниц и директорий (/directory/page.html)

руками :)

Все остальное вам уже сказали.

Открываешь блокнот, вписываешь туда необходимые параметры и сохраняешь файл под именем robots.txt. Вот и всё.

Хотелось бы обратить внимание на проблему, решение которой искал достаточно долго. Яндекс упорно не хотел видеть мой файл robots.txt. Оказалось, что из-за пустых строк, которыми я разделял различные разделы сайта. После того, как строчки стали следовать друг за другом, все стало нормально.

==============стандарт =================================

http://www.robotstxt.org/wc/norobots.html

==============Популярно=================================

http://robotstxt.org.ru/RobotstxtErrors - ошибки, часто встречающиеся в файле robots.txt

http://www.byal.net/stat/robots.html - Все, все, все о Robots.txt

==============Инструменты=================================

http://www.yandex.ru/cgi-bin/test-robots - роботс глазами яндекса.

http://tool.motoricerca.info/robots-checker.phtml - robotstxt.org - чекер. Кстати проверьте им Яндекс и Гугл. Интересу для.

Был у меня тиц с www. 10 и без 20 решил склеить прочитал на этом форуме что можно склеить с помощью robots.txt.

Создал я вот такой файл

User-Agent: *

Host: www.softvip.info

Где-то через 2 недели тиц склеился и стал что с www 20 что без ну через пару дней исчезли все страницы с индексации вместе с доменом что делать теперь не знаю.

Как вы думаете мог бы исчезнуть сайт из индексации изо того что я создал robots.txt?

До этого почти все страницы были проиндексированы без www.

Что мне теперь делать?

Вот график переходы с поисковых систем