- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов
А 24,9% – на сегмент электронной коммерции
Оксана Мамчуева
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Приветствую!
Google AdSense использую на сайте на CMS DLE v9.8.
В файле robots.txt у меня прописано (фрагмент):
Код Google AdSense установлен на всех доступных для индексации страницах, в том числе на страницах вида site.ru/page/2/ и site.ru/категория/page/2/ .
Вчера зашел в панель Google AdSense и в отчете обнаружил проблемы с индексацией сайта. В отчете были указаны страницы вида: site.ru/page/2/ и site.ru/категория/page/2/, а также страницы *.php.
Рекомендуется разрешить индексацию сайта добавив две строки в начало файла robots.txt:
Насколько я понял из Справки, робот индексирует только те страницы сайта, где установлен код блоков AdSense. При этом робот AdSense и обычные робот Google это разные роботы, поэтому правила прописанные в файле robots.txt для робота AdSense игнорируются роботом Google.
Однако, несмотря на то что два робота работают отдельно, они используют общий кэш.
Отсюда вопросы. Если у меня в robots.txt в правиле для робота Google стоит запрет на индексацию страниц категорий сайта (Disallow: /*/page/), а для робота AdSense такого запрета нет, робот AdSense проиндексирует страницы каталогов и они попадут в общий кеш Google.
Вопрос №1: После того как страница категории попадет в кеш, а Google по какой-то случайности натолкнется на ссылку или саму страницу категории - попадет ли эта страницы в поисковую выдачу Google?
Вопрос №2: Могу ли я ограничить доступ робота AdSense к определенным страницам, несмотря на рекомендации "открыть всё"? Например указать правило:
Вопрос №3: У кого какие есть наработки по работе с роботом AdSense Mediapartners?
Прошу ответить на вопросы и поделиться инфой.
Спасибо,
Меня тоже интересует этот вопрос. Будет ли адсенс отображать и оплачивать объявления на страницах, которые закрыты в robots.txt, но тем не менее присутствует строчка, которая по идее разрешает боту адсенса сканировать весь сайт без ограничений:
User-agent: Mediapartners-Google
Disallow: