Да никому не охота разбираться. Понимаешь?
Их же много, где-то - фетчеры, где-то сканеры, где-то боты ,снижающие позиции. Противодействовать им - только закрывать сайт на злобную капчу, ну или как вариант - гнать живой трафик в непропорционально большем масштабе.
К тому же далеко не на всех эти боты влияют, и далеко не каждый видит смысл с ними бороться.
В соседней ветке писали, что они и через cloudflare проходят.
Так я не вижу этого заголовка, в том-то и дело. Уж фильтровать фетчинг - это простейшее, что можно придумать, и скорее всего яндекс умеет это делать.
Ну вот и замечательно, теперь вопрос - кто его видит и как его увидеть? Вот на safari юзер-агент тот же самый что для префетча, что для загрузки. А больше информации в статистике не сохраняется.
Нужно создавать FAQ по роботам.
Значит смотри, например сходил я на сайт www.site-site.ru
Потом я набираю в адресной строке www.site и safari автоматом подставляет www.site-site.ru, в этот момент она фетчит страницу с нулевым временем просмотра. Я так пытался понять, почему с моего компьютера заходит на давнюю вирусную страницу на сайте, думал что у меня вирус, а оказалось - предзагрузка.
Аналогично если кто-то курсором водит по SERP-у, браузер может подгружать страницы с нулевым временем просмотра.
Я тут в борьбе с роботами случайно вышел на эту фишку и удивился.
Если это не оно - ставь антибот или его аналог, блокируй адреса хостеров в блэклист, НО!!!
Отличить префетчинг от человека нереально, потому что это и есть человек, а точнее его браузер.
Реальная работающая штука - это вход на сайт через каптчу, где надо собирать светофоры и автобусы. В принципе, можно сделать 2 уровня: на первом- автоматическая каптча версии 3, а всех кого она забанила - на каптчу версии 2. Реализуется это на базе того же популярного здесь антибота путем допиливания ручками. Я делал, но потом снял, потому что
Каптча версии 3 пропускала нулевые просмотры и получалось, что либо это не роботы и бороться с ними должен Яндекс, либо они обходят каптчу.
Осталось только принудительно ставить светофоры и автобусы перед входом, но это издевательство над юзерами.
Да. Но он перед тем как все испортить, спросит - желаете ли удостовериться в изменениях, которые появились в новых конфигах?
Мне тут в Telegram сбросили видос как Land Rover буксует в снегу, посмотрел в клиенте телеграма, никуда не лез, Land Rover не люблю. На следующий день весь директ в рекламе сервисов Land Rover.
Поговорил с другом по Telegram (голосом) на тему налогов - весь директ в услугах юристов.
И как от этой заразы отделаться - не знаю.
Если ставите apache, то на centos у вас не будет http/2.
Требуйте debian 9
Да может, потому что там вопрос в кэшировании на чтение и синхронизации на запись.
Попробуйте в настройках ZFS отключить синхронизацию записи, вроде бы fsync=off, и протестируйте снова на гипервизоре и в виртуалке, но не нулевыми файлами, а реальными.
И как бы дальше поставьте цель - чего вам хочется?
Может ли гипервизор резать скорость виртуалки? Да может, 5-10%. Или больше, если сами полезете настраивать.
"Почему у меня всё так медленно"? Вот тут надо понимать, на какой ОС вы остановились, какую ФС выбрали, и если это ZFS, то смотреть настройки тома, в котором лежат диски виртуалок, с какими параметрами он подключен.
С ходу скажу - в месте, где лежат виртуалки, не должно быть ни компрессии Zlib, ни дедупликации, ни синхронизации записи (хотя она конечно полезна для надежности, но скорость рубит сильно).
Пишите.
Переходя на http/2, вы оставляете совместимость с http 1.0/1.1 для ботов и олдфагов.
Из юзеров сегодня http/2 поддерживают процентов 70-80.
Чисто теоретически, http/2 должен быть быстрее на мобильных, особенно с 3g, особенно на шлаках всяких, которые так любит google, так что для seo должны быть плюсы.
Поскольку URLы не меняются, не вижу в чем может быть сложность и засада перехода на этот протокол.
Мы переходили. Плюсов не заметили, минусов тоже.
MaxRequestsPerChild 30
возможно поможет
