robots.txt для Mediapartners-Google.

R
На сайте с 15.07.2012
Offline
44
1297

Добрый день, форумчаны.

Как нужно правильно оформить robots.txt?

Вот у меня мой стандартный:

User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Если Вы хотите предоставить роботу доступ к своим страницам, то это можно сделать, не давая разрешения на индексацию другим роботам. Просто добавьте следующие две строки в начало файла robots.txt:

User-agent: Mediapartners-Google

Disallow:

Это изменение позволит роботу индексировать содержание Вашего сайта и обеспечивать показ релевантных объявлений Google. Учтите, что изменения в файле robots.txt могут не отражаться в нашем индексе до тех пор, пока роботы не попытаются снова проиндексировать Ваш сайт.

Так вот вопрос: почему в начало, а не в конец? Ведь Mediapartners-Google должен идти после правил для всех ботов, в противном случае у нас ничего не изменится. Мы сначала разрешам Mediapartners-Google индексировать все, а затем (User-agent: *) ему, как и всем другим ботам, запрещаете индексировать определенные директории.

Так чем руководствоваться здравым смыслом или справкой Google?

AlexStep
На сайте с 23.03.2009
Offline
354
#1
rones:
Так вот вопрос: почему в начало, а не в конец? Ведь Mediapartners-Google должен идти после правил для всех ботов, в противном случае у нас ничего не изменится. Мы сначала разрешам Mediapartners-Google индексировать все, а затем (User-agent: *) ему, как и всем другим ботам, запрещаете индексировать определенные директории.

Видимо получив данные для Mediapartners-Google остальная часть robots.txt уже игнорируется. Я всегда ставлю в начало. Все работает.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий