- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Начал сильно грузиться сервер, по логам метрики это делает бот Google Ad Checker.
Раньше он заходил на сайт 120-150 раз в сутки, теперь до 10-15 тысяч раз. На сайте рекламы нет. А вот на сам сайт реклама с Google Adwords имеется. В поддержке гугла ничем помочь не могут. Вопрос на форуме поднимался, но ответ так никто и не дал. Что это за бот, какая от него польза, и как ему запретить доступ на сайт?
Может кто сталкивался, помогите!
jsmith820, этот бот проверяет работоспособность сайта, рекламы и проч.
Заходов действительно много, у вас такая активная реклама на сайт идет? Стоит проверить Эдвордс, может, какие-то объявления имеют некорректный урл и робот долбится туда, пытаясь постоянно проверить "а вдруг что-то изменилось".
Радикальный способ - вообще прекратить рекламироваться в Эдвордс :)
от эдвордза отказаться низзя, это кормилец.
другое дело, может как-то можно для этого робота crawl-delay задать, но как тогда его в user-agent е назвать?
по поводу некорректных урлов логичное предположение. посмотрел - нет таких, вроде всё норм.
IP адреса ботов проверяли по whois, они принадлежат Google?
Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.
IP адреса ботов проверяли по whois, они принадлежат Google?
Под ботов гугла иногда маскируются не относящие к гуглу боты, парсеры и т.д. и .т.п.
ip гугловые
jsmith820,покажите user agent этого бота и его ip из логов веб-сервера
jsmith820,покажите user agent этого бота и его ip из логов веб-сервера
209.85.238.36 AdsBot-Google (+http://www.google.com/adsbot.html)
209.85.238.36 "Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1 (compatible; AdsBot-Google-Mobile; +http://www.google.com/mobile/adsbot.html)
jsmith820, похож на настоящий.
Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?
crawl-delay уже давно не работает для ботов google, они его игнорируют
вот список ботов https://support.google.com/webmasters/answer/1061943?hl=ru
пропишите в robots.txt и всех то делов
User-agent: AdsBot-Google-Mobile
Disallow: /
Если у вас нет рекламы adsense на сайте, что мешает запретить боту сканировать сайт ?
Этот бот относится к adwords, а не adsense. Гугл пугает неприятностями:
Важно! Запрет сканирования даже одной страницы может иметь серьезные последствия:
Прекращение показа объявлений. Рейтинг объявлений может существенно снизиться, так как у Google будет недостаточно данных для оценки качества и релевантности целевой страницы. Тогда ваши объявления будут показываться гораздо реже (или вообще перестанут появляться), пока вы не поднимете максимальную цену за клик. Но и в этом случае с показом рекламы возникнут существенные проблемы или она вовсе перестанет появляться.
Отклонение объявлений. Если вы ограничите доступ к конечному URL целевой страницы, на которую ведут ваши объявления, согласно нашим правилам они могут быть отклонены и не будут показываться. Воспользуйтесь Руководством Google для веб-мастеров, чтобы убедиться, что ваши страницы доступны для сканирования.
https://support.google.com/adwords/answer/2404197
На crawl-delay ему вроде плевать: https://productforums.google.com/forum/#!topic/webmasters/oBbFpMoygF0
Проанализировав изменения в аккаунте adwords, выявил причину, почему гуглобот adwords так взбесился.
Мы добавили ландинг по схожей тематике, что и основной проект. При этом рекламу по основному проекту тормознули, смотрим какие конверсии даст ландинг.
В результате гуглобот обнаружил два афелированных ресурса, и люто их проверяет, чтобы они не рекламировались в одно и то же время. Отсюда пиковые атаки бота на сайт.
И это ппц, на самом деле. Нагрузки бота очень большие, так что скорее всего придётся переносить сайт на VPS.
И бл*ть, действительно даже в crawl-delay не ограничить эту тварь, и не запретить ей посещать сайт. Вот Оптимизайка верные ссылки дал, санкции будут.
Жесть, короче.