Форум Поисковые системы Google

Помогите с robots.txt

12
Links Forever
На сайте с 20.08.2006
Offline
329
Links Forever
#11
Kost:
Вы понимаете, что эти два варианта абсолютно идентичны?

User-agent: Mediapartners-Google*
Disallow: /user/
Allow: /articles/


User-agent: Mediapartners-Google*
Disallow: /user/

По этому и спрашиваю как правильно сделать:

Для адсенс /articles/ -Разрешено /user/ заперщено

Для всех остальных /articles/ и /user/ заперщено

_alk0g0lik_ добавил 09.03.2011 в 17:00

angr:

P.S. кстати, а чего в этой ветке, а не в разделе Адсенса тема?

Мой косяк, не сообразил. Подумал adsens - в голове вылез google

Я очень люблю вкусные рецепты (https://povar24.info) квашеной капусты (https://kvashenaya-kapusta.ru/) и салат оливье (https://salatolive.ru/).
Отчего это тИЦ расти Нужен совет опытного Seoшника Google AdSense - Вопросы
K
На сайте с 31.01.2001
Offline
737
Kost
#12
_alk0g0lik_:
Я знаю что конкретно оно значит,

Вы до сих пор не знаете одну важную вещь.

Если не написано Disallow, значит можно индексировать.

Запрещено только то, что написано в Disallow

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
B
На сайте с 07.02.2005
Offline
161
bober
#13

_alk0g0lik_, если бот находит свое имя в роботсе, то смотрит только свой раздел. Если в нем НЕ указан запрет на индексацию чего-то - будет индексировать.

Поэтому

User-agent: Mediapartners-Google

Disallow: /user/

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий