Не показывается реклама на страницах, закрытых в robots - как быть?

Не откроются, вы ведь в этой строке только роботу адсенс открываете все страницы. Для остальных роботов ничего не меняется. Эта директива не для них и ими игнорируется. В том числе и основным роботом-индексатором гугла.

Добавьте эту строчку, о которой вы писали и реклама будет отображаться. У меня на форуме множество дублей закрытых в роботс.тхт, но реклама отображается везде. Я правда не могу со стопроцентной уверенностью сказать, что она оплачивается - этого не знаю, но вроде оплачивается, т.к. прибыль на том же уровне примерно осталась. Но в любом случае основная масса точек захода на сайт - поисковые системы, т.е. те страницы, которые проиндексированы и разрешены в роботс.тхт.

Почему тогда, когда я проверяю в вебмастере гугла и яндекса во вкладке роботс и вставляю закрытые страницы, то пишется что они открыты для индексации?

Как только я убираю эту директиву сверху, то дубли урлов сразу становятся закрытыми для поисковых роботов.

Вместо "Disallow:" укажите "Allow: /" и «воткните в конец».

Ооооо, это уже ближе к теме - спасибо. На данный момент блок показывается - правда совсем нетематическая реклама(играть в онлайн игру) хотя у меня бизнес портал.

Как гугл загрузит обновленный роботс и инфа обновится, надеюсь тематическую показывать начнет.

Дубли в яндекс вебмастере проверил - закрыты при внесении в конец данной директивы (яндекс роботс сразу же обновляет)

Вы хотите разместить объявления на всех страницах, но эти страницы не должны отображаться в Поиске в Google. Для этого заблокируйте доступ к содержанию агенту пользователя Googlebot, но оставьте его доступным агенту пользователя Mediapartners-Google следующим образом:

User-agent: Googlebot

Disallow: /

User-agent: Mediapartners-Google

Disallow:

https://support.google.com/webmasters/answer/1061943?hl=ru

А вообще говоря "Disallow:" и "Allow: /" это одно и то же

Яндекс то тут при чем? Ему вообще параллельно на директивы для гугла и адсенс в роботс. Эти директивы только для робота адсенс!

Вообще у меня в роботс стоит первой строкой:

User-agent: Mediapartners-Google

Disallow:

и адсенс показывается на всех страницах, даже закрытых далее разными фильтрами в роботс.

Я понял свою ошибку - User-agent: * заменил на

User-agent: Mediapartners-Google

Disallow:

Видимо поэтому пооткрывались закрытые страницы.

Сейчас посмотрю в течении нескольких дней что будет показывать гугл на мой роботс что сейчас изменил. Если не будет нормальных объявлений, то сверху просто добавлю

User-agent: Mediapartners-Google

Disallow:

а не буду менять существующий User-agent: *

Наверное в этом дело было.

А яндекс при том ,что мне не хочется, чтобы яндекс индексировал дубли - он бы их индексировал, если бы я оставил как изменил в первый раз.

У меня так начинается robots:

User-agent: Mediapartners-Google

Disallow:

далее идет список запретов для всех роботов:

User-Agent: *

Disallow: /xxx

Disallow: /xxxxxxx

ну а всё что не запрещено - открыто, поэтому директиву allow можно не использовать, но можно и дописать в конце:

Allow: /