Какая директива в роботс.тхт делает сайт открытым для ботов Google Adsense

L
На сайте с 01.11.2012
Offline
201
274

Доброе утро всем!

На поддоменах сайта роботс.тхт выглядит:

User-agent: *

Disallow: /cc/

Disallow: /cart

Disallow: /search*

и т.д. другие Дизаллоу

User-agent: Googlebot

Disallow: /

Как видите для Гугла - ЗАКРЫТЫ.

Как сделать так, чтобы они были доступны ТОЛЬКО для ботов Google Adsense?? А для Googlebot оставался все также закрыт.

Должно быть наверное так

User-agent: Googlebot

Disallow: /

и тут еще строчка Аллоу и адрес бота ГуглАдсенс.. или как-то по-другому?

И самое главное я правильно понимаю, что изначально заданные условия в начале (

User-agent: *

Disallow: /cc/

Disallow: /cart

и т.д.

Боту Гугл Адсенс не позволят их индексировать. верно?

Спасибо за помощь. Пытался сам разобраться -не вышло :(

Всем скорейшего окончания самоизоляции :((

Градация уровней знаний в SEO: Pre-Junior / Junior / Strong Junior / Pre-Middle / Middle / Strong MIddle / Pre-Senior / Senior / Strong Senior. Я где-то между 3-4 м уровнем. К сожалению. Хочу больше. Мог бы больше.
O
На сайте с 30.09.2019
Offline
18
#1

По токену откройте доступ https://support.google.com/webmasters/answer/1061943?hl=ru

L
На сайте с 01.11.2012
Offline
201
#2

Фигово искал. Все просто))

User-agent: *

Disallow: /cc/

Disallow: /cart

Disallow: /search*

и т.д. другие Дизаллоу

User-agent: Googlebot

Disallow: /

User-agent: Mediapartners-Google

Allow: /

С этим разобрался

Но ВТОРОЙ важный вопрос в силе

И самое главное я правильно понимаю, что изначально заданные условия в начале (

User-agent: *

Disallow: /cc/

Disallow: /cart

и т.д.

Боту Гугл Адсенс не позволят их индексировать. верно?

P.S. Кстати помог разобраться хороший человек из чата сайта: https://seopulses.ru/

Уже не первый раз мне помогает разобраться с некоторыми проблемными и не очень вопросами))

vold57
На сайте с 01.10.2007
Offline
261
#3
limyh:
Как сделать так, чтобы они были доступны ТОЛЬКО для ботов Google Adsense?? А для Googlebot оставался все также закрыт.

Добавить в роботс

User-agent: Mediapartners-Google

Disallow:

Аудит сайтов - главная часть это тщательная ручная работа, а не отчеты сервисов и программ (https://vold57.com/audit). Продвижение сайтов (https://vold57.com/seo)
L
На сайте с 01.11.2012
Offline
201
#4
vold57:
Добавить в роботс
User-agent: Mediapartners-Google
Disallow:

Спасибо большое - добрый человек

А чем это:

User-agent: Mediapartners-Google

Disallow:

отличается от

User-agent: Mediapartners-Google

Allow: /

vold57
На сайте с 01.10.2007
Offline
261
#5

Ничем не отличается.

L
На сайте с 01.11.2012
Offline
201
#6

Т.е. этот вариант:

User-agent: Mediapartners-Google

Disallow:

он ничего НЕ ЗАПРЕЩАЕТ индексировать

А в этом случае:

User-agent: Mediapartners-Google

Allow: /

Он разрешает ВСЕ индексировать

по сути одно и тоже. Т.е. можно и тот что ты написал вариант использовать (дизаллоу: и тот что я, аллоу:/)

Или есть какая-то разница и что-то предпочтительнее использовать?

vold57
На сайте с 01.10.2007
Offline
261
#7

Ашманов пишет, что есть разница - https://www.ashmanov.com/education/articles/analiz-robots-txt/

Гугл, что нет - https://support.google.com/webmasters/answer/6062596?hl=ru

L
На сайте с 01.11.2012
Offline
201
#8

Спасибо))

Короче :)

буду использовать что говорит Гугл

т.е.

User-agent: Mediapartners-Google

Allow: /

И нужно ли добавлять

КОНКРЕТНО для бота Гугл АДсенс

вот эти дазаллоу?

Disallow: /cc/

Disallow: /cart

дизаллоу:/сёрч/

ит.д.?

---------- Добавлено 09.04.2020 в 12:31 ----------

Да, скорее всего да:

Ашманов пишет:

Для каждой страницы, краулера, папки и пр. используйте отдельное правило.

значит отдельно нужно

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий