Как сделать один Robots?

Так в корне создайте robots.txt, если уж у вас директория /forum в той же директории, что и сам WordPress. Если вы имеете ввиду содержимое, то просто объедините, никаких несовместимостей нет.

Объединить все записи вместе что-то мешает?...

Извиняюсь что влезаю в вашу тему. У меня другой вопрос. Имеется сайт на нем два домена site.ru и bla-bla.ru, что прописать в роботсе чтобы запретить индексацию домена bla-bla.ru?

User-Agent: *

Allow: /wp-content/uploads/

Allow: /forum/*sitemap

Allow: /forum/*arcade # если не стоит мод игр, удалить без пропуска строки

Allow: /forum/*rss

Allow: /forum/*type=rss

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /tag

Disallow: /category

Disallow: /author

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /forum/attachments/

Disallow: /forum/avatars/

Disallow: /forum/Packages/

Disallow: /forum/Smileys/

Disallow: /forum/Sources/

Disallow: /forum/Themes/

Disallow: /forum/Games/

Disallow: /forum/*.msg

Disallow: /forum/*.new

Disallow: /forum/*sort

Disallow: /forum/*topicseen

Disallow: /forum/*wap

Disallow: /forum/*imode

Disallow: /forum/*action

Disallow: /forum/*prev_next

Disallow: /forum/*all

Disallow: /*PHPSESSID

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

User-agent: Slurp

Crawl-delay: 100

---------- Добавлено 06.05.2013 в 23:23 ----------

Хоть в хелпе яндекса написано, что порядок директив - пофиг, но сугубо для себя чтоб не запутаться, сделал по порядку. Ничего не упустил?

ЗЫ. Мне кажется лишней индексация РСС форума. Зачем это?

Host: site.ru

Сделайте динамический роботс, который будет отдавать разные инструкции для разных доменов.

RewriteRule ^robots\.txt$ robots.php [L]

А можно поподробнее? 🍿

Кто по роботсу чего скажет (SMF+Wordpress)? :) Чтоб дублей не было. На simplemachines.ru как вымерли все нах. :)

Лучше директиву "host" заюзайте. Два домена слепятся в зеркала и все. Внешнее ссылочное будет направлено на главное зеркало.

Мне нужно было, чтобы роботы не индексировали нужный домен. Решение нашел.

RewriteCond %{HTTP_HOST} domen1.ru

RewriteCond %{REQUEST_FILENAME} robots.txt$

RewriteRule . robots_1.txt [L]



RewriteCond %{HTTP_HOST} domen2.ru

RewriteCond %{REQUEST_FILENAME} robots.txt$

RewriteRule . robots_2.txt [L]