файл robots.txt

Зачем пробелы после слешей?

Сори, исправил

User-agent: *

Disallow: /cgi-bin

Disallow: /forum

Disallow: /image

Disallow: /includes

Disallow: /language

Disallow: /links

Disallow: /awstats

Disallow: /adm

Disallow: /viewforum.php?f=26

Disallow: /viewforum.php?f=21

Disallow: /viewforum.php?f=29

Disallow: /viewforum.php?f=27

Disallow: /search.php

Disallow: /mcp.php

Disallow: /faq.php

Host: мой сайт.ru

Sitemap: http://www. мой сайт /sitemap.xml

А зачем вы закрыли forum.

Если у вас на сайте присутствует форум - http://тратата.ru/forum/, то он будет закрыт от индексации.

- соблюдайте синтаксис:

/dir/

/file

- редактируйте свой robots.txt в режиме UNIX и закачивайте файл на сайт в режиме ASCII: многие FTP-клиенты умеют при закачке в текстовом режиме переводить символы строки из DOS-формата в UNIX-формат, но некоторые этого не делают

- системные директории закрывать не надо (ака cgi-bin,includes,language и т.п) - большинство ботов их игнорирует по дефолту..

По мне так я бы убрал это:

Disallow: /image

Допустим, я разместил несколько статей и хочу быстро их проиндексировать, я закрываю доступ к менее интересным разделам, таким как многостраничный форум, который уже в индексе и даю доступ только к нужному разделу со статьями. При сильной загруженности сервера, мне показалось, что я поступаю правильно. Хотя могу и ошибаться.

После индексации снова открываю доступ.

можете решить проблему проще - закрыть доступ в .htaccess по юзер-агенту боту пс..))