Робот AdSense. Как правильно настроить индексацию

GY
На сайте с 30.04.2009
Offline
47
3046

Приветствую!

Google AdSense использую на сайте на CMS DLE v9.8.

В файле robots.txt у меня прописано (фрагмент):

Disallow: /page/       # закрывает страницы пагинации главной страницы (пример site.ru/page/2/)

Disallow: /*/page/ # закрывает страницы пагинации категорий (пример site.ru/категория/page/2/)
Disallow: /*.php$ # закрывает все '*.php' на данном сайте

Код Google AdSense установлен на всех доступных для индексации страницах, в том числе на страницах вида site.ru/page/2/ и site.ru/категория/page/2/ .

Вчера зашел в панель Google AdSense и в отчете обнаружил проблемы с индексацией сайта. В отчете были указаны страницы вида: site.ru/page/2/ и site.ru/категория/page/2/, а также страницы *.php.

Рекомендуется разрешить индексацию сайта добавив две строки в начало файла robots.txt:

User-agent: Mediapartners-Google 

Disallow: # разрешить доступ робота ко всем частям сайта или сайту целиком

Насколько я понял из Справки, робот индексирует только те страницы сайта, где установлен код блоков AdSense. При этом робот AdSense и обычные робот Google это разные роботы, поэтому правила прописанные в файле robots.txt для робота AdSense игнорируются роботом Google.

Однако, несмотря на то что два робота работают отдельно, они используют общий кэш.

Это сделано для того, чтобы избежать ситуаций, когда оба индексатора запрашивают одни и те же страницы, и сохранить пропускную способность сайтов издателей.

Отсюда вопросы. Если у меня в robots.txt в правиле для робота Google стоит запрет на индексацию страниц категорий сайта (Disallow: /*/page/), а для робота AdSense такого запрета нет, робот AdSense проиндексирует страницы каталогов и они попадут в общий кеш Google.

Вопрос №1: После того как страница категории попадет в кеш, а Google по какой-то случайности натолкнется на ссылку или саму страницу категории - попадет ли эта страницы в поисковую выдачу Google?

Вопрос №2: Могу ли я ограничить доступ робота AdSense к определенным страницам, несмотря на рекомендации "открыть всё"? Например указать правило:

User-agent: Mediapartners-Google 

Disallow: /*.php$ # закрывает все '*.php' на данном сайте

Вопрос №3: У кого какие есть наработки по работе с роботом AdSense Mediapartners?

Прошу ответить на вопросы и поделиться инфой.

Спасибо,

D
На сайте с 17.04.2013
Offline
109
#1

Меня тоже интересует этот вопрос. Будет ли адсенс отображать и оплачивать объявления на страницах, которые закрыты в robots.txt, но тем не менее присутствует строчка, которая по идее разрешает боту адсенса сканировать весь сайт без ограничений:

User-agent: Mediapartners-Google

Disallow:

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий