- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Начал сильно грузиться сервер, по логам метрики это делает бот Google Ad Checker.
Раньше он заходил на сайт 120-150 раз в сутки, теперь до 10-15 тысяч раз. На сайте рекламы нет. А вот на сам сайт реклама с Google Adwords имеется. В поддержке гугла ничем помочь не могут. Вопрос на форуме поднимался, но ответ так никто и не дал. Что это за бот, какая от него польза, и как ему запретить доступ на сайт?
Может кто сталкивался, помогите!
jsmith820, этот бот проверяет работоспособность сайта, рекламы и проч.
Заходов действительно много, у вас такая активная реклама на сайт идет? Стоит проверить Эдвордс, может, какие-то объявления имеют некорректный урл и робот долбится туда, пытаясь постоянно проверить "а вдруг что-то изменилось".
Радикальный способ - вообще прекратить рекламироваться в Эдвордс :)
от эдвордза отказаться низзя, это кормилец.
другое дело, может как-то можно для этого робота crawl-delay задать, но как тогда его в user-agent е назвать?
по поводу некорректных урлов логичное предположение. посмотрел - нет таких, вроде всё норм.
IP адреса ботов проверяли по whois, они принадлежат Google?
Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.
IP адреса ботов проверяли по whois, они принадлежат Google?
Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.
ip гугловые
jsmith820,покажите user agent этого бота и его ip из логов веб-сервера
jsmith820,покажите user agent этого бота и его ip из логов веб-сервера
209.85.238.36 AdsBot-Google (+http://www.google.com/adsbot.html)
209.85.238.36 "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
jsmith820, похож на настоящий.
Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?
crawl-delay уже давно не работает для ботов google, они его игнорируют
вот список ботов https://support.google.com/webmasters/answer/1061943?hl=ru
пропишите в robots.txt и всех то делов
User-agent: AdsBot-Google-Mobile
Disallow: /
Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?
Этот бот относится к adwords, а не adsense. Гугл пугает неприятностями:
Важно! Запрет сканирования даже одной страницы может иметь серьезные последствия:
Прекращение показа объявлений. Рейтинг объявлений может существенно снизиться, так как у Google будет недостаточно данных для оценки качества и релевантности целевой страницы. Тогда ваши объявления будут показываться гораздо реже (или вообще перестанут появляться), пока вы не поднимете максимальную цену за клик. Но и в этом случае с показом рекламы возникнут существенные проблемы или она вовсе перестанет появляться.
Отклонение объявлений. Если вы ограничите доступ к конечному URL целевой страницы, на которую ведут ваши объявления, согласно нашим правилам они могут быть отклонены и не будут показываться. Воспользуйтесь Руководством Google для веб-мастеров, чтобы убедиться, что ваши страницы доступны для сканирования.
https://support.google.com/adwords/answer/2404197
На crawl-delay ему вроде плевать: https://productforums.google.com/forum/#!topic/webmasters/oBbFpMoygF0
Проанализировав изменения в аккаунте adwords, выявил причину, почему гуглобот adwords так взбесился.
Мы добавили ландинг по схожей тематике, что и основной проект. При этом рекламу по основному проекту тормознули, смотрим какие конверсии даст ландинг.
В результате гуглобот обнаружил два афелированных ресурса, и люто их проверяет, чтобы они не рекламировались в одно и то же время. Отсюда пиковые атаки бота на сайт.
И это ппц, на самом деле. Нагрузки бота очень большие, так что скорее всего придётся переносить сайт на VPS.
И бл*ть, действительно даже в crawl-delay не ограничить эту тварь, и не запретить ей посещать сайт. Вот Оптимизайка верные ссылки дал, санкции будут.
Жесть, короче.