- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Очередной вопрос к знатокам, знакомым с явлением (конечно, если это действительно явление, а не совокупность случайных факторов).
Явление комплексное, из нескольких факторов. Симптомы явления:
1. Полное отсутствие визитов на сайт ботов с содержанием в UserAgent слова «Googlebot» (кроме бота «Googlebot-Image/1.0» – от силы с десяток визитов в день). Хотя Sitemap'ы, судя по данным в консоли вебмастера, запрашиваются и читаются регулярно.
2. Многочисленные визиты на сайт ботов с нейтральными UserAgent без какого-либо намёка на отношение к сервисам Google (напр., «Mozilla/5.0 (Linux; Android 10; K) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/135.0.0.0 Mobile Safari/537.36»), но при этом с реферером «https://www.google.com/» и с IP-диапазонов, принадлежащих компании Google. Капчу пробить не могут, проверено. Характерные особенности – большие интервалы (до часа-двух) между немногочисленными визитами (от 1-2 до 5-10), куки категорически не принимают.
3. Сообщение от подрядчиков о плохом показателе UpTime сайта с позиции поисковых систем по данным какого-там ихнего аптайметра, при полном отсутствии тормозов на сервере (подрядчик на них крайне скуп на подробности, но в тексте его сообщения отчётливо улавливается намёк именно на Google, поэтому этот пункт здесь, в симптомах).
4. И разумеется, доброе старое «Обнаружено, не проиндексировано» со списком вполне себе живых и здоровых страниц, но это уже вдогонку, «до кучи» и на всякий пожарный, для полноты картины.
Если кто сталкивался – просьба прояснить ситуё... ацию. Заранее спасибо.
Очередной вопрос к знатокам, знакомым с явлением (конечно, если это действительно явление, а не совокупность случайных факторов).
На самом деле, если взяться за дело с чувством, с толком, с расстановкой – ботов пока что не так уж сложно отличить от людей. Просто потому, что ботоводы особо не парятся с маскировкой – смысл тратить время ради 1-2% тех, кто всерьёз берётся за дело? У меня, к примеру, в моём кустарном (но вполне эффективном) инструменте набралось уже с десяток алгоритмов – «Легионер», «Дятел», «Альцгеймер», «Ясновидящий», «Фантомас» и пр., – и как минимум раз в месяц добавляется новый, откалывающий от трафика новый срез ботов. Результат – в среднем 14-18% ежедневных отказов супротив прошлогодних 30-40% (временами доходивших до 75-80%). Да, часть визитов Метрика распознаёт как роботные – но это всего лишь остатки, в основном из тех, кто воздерживается от формирования отказов на сайте, в силу чего на их визиты позволительно покамест смотреть сковзь пальцы.
Сначала параноики (с явным синдромом Аспергера в случае начальника темы) закрывают сайт от всех роботов, а потом удивляются, почему полезные роботы не хотят правильно трудиться. Роботы, которые проверяют клоакинг, и другие хитрости, могут ходить с любым User-Agent из любых мест, и делать на сайте любые действия, в том числе такие, которые не нравятся параноикам.
Сначала параноики (с явным синдромом Аспергера в случае начальника темы) закрывают сайт от всех роботов, а потом удивляются, почему полезные роботы не хотят правильно трудиться. Роботы, которые проверяют клоакинг, и другие хитрости, могут ходить с любым User-Agent из любых мест, и делать на сайте любые действия, в том числе такие, которые не нравятся параноикам.
Переодетые полицейские, вот как? А мне всегда казалось, что боты ПС имеют обыкновение представляться. И да, ни паранойя, ни Аспергер не отменяют факта посещения сайтов полчищами ботов. И да, блокировка идущих якобы с Google ботов повлекла за собой резкое снижение уровня отказов. И да, у меня не вызвало бы удивления, если бы это были реальные Google-боты: pagespeed.web.dev же считает код Яндекс-Метрики в странице – одним из препятствующих принципам оптимизации сайтов фактором, так почему бы Яндексу симметрично не ответить тем же?
приведи пример ипов. если тат PTR содержит googleusercontent, то это не гугловские, а чьи угодно на гугл вдс облачном. такое часто берут под парсинг чтоб прикидываться гуглом.
Например: 72.14.201.31. Впрочем, «Облачный гугл VDS, чтоб прикидываться гуглом» – а вот на этой фразе у меня сразу же отвалилась куча вопросов, спасибо.
Вдогонку, с 1-м вопросом (Полное отсутствие визитов на сайт ботов с содержанием в UserAgent слова «Googlebot») – ОТБОЙ: некоторое время назад подрядчик организовал мне экстренный шухер в честь того, что боты Google якобы не могут получить доступ к сайту, соответственно в код был вставлен для них код исключения, а собственную строку записи визита-исключения в базу вставить забыл.
72.14.201.31
Все понятно, у тебя чуть другая ситуация, PTR: v4.fetch.tunnel.googlezip.net решение которое поможет скорее всего тут: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
Все понятно, у тебя чуть другая ситуация, PTR: v4.fetch.tunnel.googlezip.net решение которое поможет скорее всего тут: PTR fetch.tunnel.googlezip.net и /.well-known/traffic-advice
Любопытно – исчерпывающий ответ на вопрос, который я здесь даже прямо не задавал. Ещё одной загадкой в логах стало меньше, я как-то чуть голову себе не сломал, что за странные визиты, и нагуглить толком ничего тогда не удалось. Спасибо!
а вот такое "гугловское" точно не пропускать, это из Google Cloud Platform (облачные VDS), которые к гуглу не имеют отношение. Но часто имеют юзерагент гугловских ботов.
а вот такое "гугловское" точно не пропускать, это из Google Cloud Platform (облачные VDS), которые к гуглу не имеют отношение. Но часто имеют юзерагент гугловских ботов.
Ещё раз: ключевой прикол в том, что я долго не мог уяснить себе, что это за приходящие с диапазонов Google безымянные боты, а про облачный VDS от поискового гиганта попросту не знал.
а вот такое "гугловское" точно не пропускать, это из Google Cloud Platform (облачные VDS), которые к гуглу не имеют отношение. Но часто имеют юзерагент гугловских ботов.
А есть полный список таких, чтоб забанить?
А есть полный список таких, чтоб забанить?
у меня нету, мне надобности нету блочить, главное не разрешать это думая что легитимный гуглбот.