- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброе утро всем!
На поддоменах сайта роботс.тхт выглядит:
User-agent: *
Disallow: /cc/
Disallow: /cart
Disallow: /search*
и т.д. другие Дизаллоу
User-agent: Googlebot
Disallow: /
Как видите для Гугла - ЗАКРЫТЫ.
Как сделать так, чтобы они были доступны ТОЛЬКО для ботов Google Adsense?? А для Googlebot оставался все также закрыт.
Должно быть наверное так
User-agent: Googlebot
Disallow: /
и тут еще строчка Аллоу и адрес бота ГуглАдсенс.. или как-то по-другому?
И самое главное я правильно понимаю, что изначально заданные условия в начале (
User-agent: *
Disallow: /cc/
Disallow: /cart
и т.д.
Боту Гугл Адсенс не позволят их индексировать. верно?
Спасибо за помощь. Пытался сам разобраться -не вышло :(
Всем скорейшего окончания самоизоляции :((
По токену откройте доступ https://support.google.com/webmasters/answer/1061943?hl=ru
Фигово искал. Все просто))
User-agent: *
Disallow: /cc/
Disallow: /cart
Disallow: /search*
и т.д. другие Дизаллоу
User-agent: Googlebot
Disallow: /
User-agent: Mediapartners-Google
Allow: /
С этим разобрался
Но ВТОРОЙ важный вопрос в силе
И самое главное я правильно понимаю, что изначально заданные условия в начале (
User-agent: *
Disallow: /cc/
Disallow: /cart
и т.д.
Боту Гугл Адсенс не позволят их индексировать. верно?
P.S. Кстати помог разобраться хороший человек из чата сайта: https://seopulses.ru/
Уже не первый раз мне помогает разобраться с некоторыми проблемными и не очень вопросами))
Как сделать так, чтобы они были доступны ТОЛЬКО для ботов Google Adsense?? А для Googlebot оставался все также закрыт.
Добавить в роботс
User-agent: Mediapartners-Google
Disallow:
Добавить в роботс
User-agent: Mediapartners-Google
Disallow:
Спасибо большое - добрый человек
А чем это:
User-agent: Mediapartners-Google
Disallow:
отличается от
User-agent: Mediapartners-Google
Allow: /
Ничем не отличается.
Т.е. этот вариант:
User-agent: Mediapartners-Google
Disallow:
он ничего НЕ ЗАПРЕЩАЕТ индексировать
А в этом случае:
User-agent: Mediapartners-Google
Allow: /
Он разрешает ВСЕ индексировать
по сути одно и тоже. Т.е. можно и тот что ты написал вариант использовать (дизаллоу: и тот что я, аллоу:/)
Или есть какая-то разница и что-то предпочтительнее использовать?
Ашманов пишет, что есть разница - https://www.ashmanov.com/education/articles/analiz-robots-txt/
Гугл, что нет - https://support.google.com/webmasters/answer/6062596?hl=ru
Спасибо))
Короче :)
буду использовать что говорит Гугл
т.е.
User-agent: Mediapartners-Google
Allow: /
И нужно ли добавлять
КОНКРЕТНО для бота Гугл АДсенс
вот эти дазаллоу?
Disallow: /cc/
Disallow: /cart
дизаллоу:/сёрч/
ит.д.?
---------- Добавлено 09.04.2020 в 12:31 ----------
Да, скорее всего да:
Ашманов пишет:
Для каждой страницы, краулера, папки и пр. используйте отдельное правило.
значит отдельно нужно