Неизвестные заходы на сайт без поисковой фразы

А фрагмент лога веб сервера можете привести, чтобы эти заходы там было видно? IP адреса посетителей?

Нужно создавать FAQ по роботам.

Значит смотри, например сходил я на сайт www.site-site.ru

Потом я набираю в адресной строке www.site и safari автоматом подставляет www.site-site.ru, в этот момент она фетчит страницу с нулевым временем просмотра. Я так пытался понять, почему с моего компьютера заходит на давнюю вирусную страницу на сайте, думал что у меня вирус, а оказалось - предзагрузка.

Аналогично если кто-то курсором водит по SERP-у, браузер может подгружать страницы с нулевым временем просмотра.

Я тут в борьбе с роботами случайно вышел на эту фишку и удивился.

Если это не оно - ставь антибот или его аналог, блокируй адреса хостеров в блэклист, НО!!!

Отличить префетчинг от человека нереально, потому что это и есть человек, а точнее его браузер.

Реальная работающая штука - это вход на сайт через каптчу, где надо собирать светофоры и автобусы. В принципе, можно сделать 2 уровня: на первом- автоматическая каптча версии 3, а всех кого она забанила - на каптчу версии 2. Реализуется это на базе того же популярного здесь антибота путем допиливания ручками. Я делал, но потом снял, потому что

Каптча версии 3 пропускала нулевые просмотры и получалось, что либо это не роботы и бороться с ними должен Яндекс, либо они обходят каптчу.

Осталось только принудительно ставить светофоры и автобусы перед входом, но это издевательство над юзерами.

https://developer.mozilla.org/en-US/docs/Web/HTTP/Link_prefetching_FAQ#As_a_server_admin.2C_can_I_distinguish_prefetch_requests_from_normal_requests.3F

Ну вот и замечательно, теперь вопрос - кто его видит и как его увидеть? Вот на safari юзер-агент тот же самый что для префетча, что для загрузки. А больше информации в статистике не сохраняется.

mrmvd, так не нужно просто при наличии этого заголовка выводить код счетчиков на страницу. Более того, системы аналитики должны учитывать это. Например, Google Analytics:

https://analytics.googleblog.com/2010/11/instant-preview-issue-resolved.html

Так я не вижу этого заголовка, в том-то и дело. Уж фильтровать фетчинг - это простейшее, что можно придумать, и скорее всего яндекс умеет это делать.

А разве фетчеры загружают вообще всё на странице и исполняют JS? Оно им надо? Дёрнул фетчер страницу - метрики и аналитиксы, по идее, и узнать не должны об этом.

Да никому не охота разбираться. Понимаешь?

Их же много, где-то - фетчеры, где-то сканеры, где-то боты ,снижающие позиции. Противодействовать им - только закрывать сайт на злобную капчу, ну или как вариант - гнать живой трафик в непропорционально большем масштабе.

К тому же далеко не на всех эти боты влияют, и далеко не каждый видит смысл с ними бороться.

В соседней ветке писали, что они и через cloudflare проходят.

Капча для коммерческих сайтов большое зло, увы.

а где его взять? лог этот

а вообще какой риск моему сайту, сможет ли он упасть, нашел кстати ключи по каким заходят но они отдельно в поисковых фразах, есть по моей тематике супер вч на главной, вот этой группой запросов меня и делают отказы, а я то думаю почему я не могу выйти по этому вч

---------- Добавлено 27.01.2019 в 09:11 ----------

вот нашел айпи сеть

Metropolitan branch of OJSC MegaFon AS25159 31.173.80.0/21

я так понимаю кто то симку перезагружает может и новый айпи выдается, но как удается скрывать фразу в вебвизоре