Стоит. Похоже на какой-то реферальный спам или ботовод накосячил :)
Спасибо большое! Написал в поддержку яндекса, жду ответа (скинул им логи, попросили) - приложу ответ в этой теме.
Стоит ли прописать в файле .htaccess что-то вроде этого: RewriteCond %{HTTP_REFERER} ^http://(www\.)?yandex\.ru [NC,OR]
RewriteCond %{HTTP_REFERER} ^http://(www\.)?google\.com [NC]
RewriteRule ^ - [F,L]
Здравствуйте. Столкнулся с такой же проблемой на трех своих сайтах (уверен и 4-м тоже). Смотрел статистику обхода робота гугла, одного из сайтов - 50,6К страниц за месяц. С учетом лимита АПИ 200 (стартового, на одном сайте в прошлом году у меня был лимит на http (без S) - 320) - это мизер для обхода сайта гуглом. Постоянно пользовался (Индексинг АПИ) при создании новых страниц/разделов (с большим количеством страниц) - для индексации страниц в гугле.
Я уже понял, что это будет для НАС реальность, есть мысли как в будущем загонять новые страницы в Гугл? Не считая мухляжа, что мол страница является объявлением о вакансии .... хотя .... тоже как вариант ... разметку можно легко поставить, НО можно и под фильтры попасть ... Обновление Sitemap - "интересно", но пол года не вариант ждать. Инструменты Вебмастера давным давно не загоняют страницу в индекс. Мысли вслух .... Гугл стал таким, т.к. вот эти все "обходы" на мировом уровне стоят миллиарды долларов (стоимость электроэнергии и амортизация ... железа) .... суды "-%" (по всему миру), .... реклама - "-%" ...
Раньше яндекс был тормоз - теперь гугл....
Разобрался что это за трафик идет, но не понятно - блокировать его или нет.Это: Частный прокси-сервер предварительной выборки в Chrome https://developer.chrome.com/blog/private-prefetch-proxy?hl=ru#С одной стороны это ускоряет загрузку страниц, но как я понимаю там страницы кэшируются и контент может показываться старый (например обновление цен товаров или контактные данные ... да много чего может обновляться). Речь идет про мобильные версии сайта. Столкнулся с проблемой что страница обновилась, захожу в телефон, нажимаю на сохраненную ссылку - она открывает старый контент, причем кэширование настроено правильно + last-modified
Мне вот такой код помог:
RewriteCond %{THE_REQUEST} \? [NC]RewriteCond %{REQUEST_URI} (.*) [NC]RewriteCond %{QUERY_STRING} utm [NC]RewriteRule .* - [F]
Если у вас есть вот такой код (который убирает знак ? и все после него из URL):
RewriteCond %{THE_REQUEST} \?RewriteRule ^(.*)$ /$1? [R=301,L]
то этот (нижеприведенный) код должен стоять выше, чтобы он сработал первее:
RewriteRule ^(.*)"(.*)$ /analytics.php [L,R=301]
Это не накрутка - это Гугл бот
Спасибо большое!
