Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Два robots.txt или один?

Plutishe
На сайте с 06.03.2006
Offline
205
Plutishe
326

Сайт site.ru на WP

Форум site.ru/forum на phpBB

1 общий robots.txt - site.ru/robots.txt

или 2 отдельных, один для WP другой для phpBB

site.ru/robots.txt и site.ru/forum/robots.txt

что то залип... :confused:

Хостинг за РУБЛИ (http://yousite.ru/h) | VPS/VDS на платформе: XEN c администрированием (http://yousite.ru/v) | Регистрация доменов (http://yousite.ru/d)
M
На сайте с 04.10.2014
Offline
89
mcbatman
#1

Адын 10 символ

Заработок для вебмастера от 500 рублей в сутки (https://kwork.ru/ref/2472548)
Geers
На сайте с 12.04.2011
Offline
487
Geers
#2

Один подойдет для двух cms, сайт же один.

Plutishe
На сайте с 06.03.2006
Offline
205
Plutishe
#3
Geers:
Один подойдет для двух cms, сайт же один.

Прикольно. Значит у меня на сайтах через *опу всё.

Если я правильно понял, то выходит так:

В корне site.ru/robots.txt

примерно такого содержания:


User-agent: Yandex.ru
HOST: site.ru
Disallow: /wp-admin

User-agent: *
Disallow: /wp-admin

User-agent: Yandex
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php

User-agent: *
Disallow: /forum/faq.php
Disallow: /forum/mcp.php
Disallow: /forum/memberlist.php

Geers
На сайте с 12.04.2011
Offline
487
Geers
#4

Достаточно User-agent: *

Это для всех ботов ПС,

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий