Переходы с поисковых систем по старому протоколу http://

12 3
А
На сайте с 29.10.2016
Offline
63
3357
Здравствуйте.
Недавно обнаружил что в лог файлах у меня есть переходы с поисковых систем по старому протоколу http://
Например:
Код ответа сервера 200.
Как такое может быть, если с Яндекса по старому протоколу установлен редирект на  https://dzen.ru/?yredirect=true, а в Гугле редирект на новый протокол https://
Боты?


А
На сайте с 29.10.2016
Offline
63
#1

Стоит ли прописать в файле .htaccess что-то вроде этого:

RewriteCond %{HTTP_REFERER} ^http://(www\.)?yandex\.ru [NC,OR]

RewriteCond %{HTTP_REFERER} ^http://(www\.)?google\.com [NC]

RewriteRule ^ - [F,L]

alaev
На сайте с 18.11.2010
Offline
784
#2
Алексанр #:

Стоит ли прописать в файле .htaccess что-то вроде

Стоит. Похоже на какой-то реферальный спам или ботовод накосячил :)

Создание и продвижение сайтов - https://alaev.net , аудиты сайтов, контекстная реклама
А
На сайте с 29.10.2016
Offline
63
#3
alaev #:

Стоит. Похоже на какой-то реферальный спам или ботовод накосячил :)

Спасибо большое! Написал в поддержку яндекса, жду ответа (скинул им логи, попросили) - приложу ответ в этой теме.

А
На сайте с 29.10.2016
Offline
63
#4
Может кому-то пригодится (блокируем боты и переходы с нежелательных сайтов в файле .htaccess)


RewriteCond %{HTTP_REFERER} (petalsearch\.com|dbankcloud\.com|neuronwriter\.com|telegra\.ph|baidu\.com|brief\.ly|s\.zlnav\.com|italstroy\.ru|iframe-toloka\.com|mobilesearchers\.com|coolakov\.ru|newsearchers\.com|tmweb\.ru|weebly\.com|calipso\.by|maxask\.com|presearch\.com|bitrix24\.ru|seranking\.com|xranks\.com|url-opener\.com|relevantus\.org|rush-analytics\.ru|api\.pfbaza\.website|arsenkin\.ru|tools\.pixelplus\.ru|m\.gsearch\.co|Ask\.com|readmehouse\.ru|factorial-eval|bitrix24\.by|alohafind\.com|planfix\.ru|amocrm\.ru|localmedia\.by|korona\.local|dynamitedojo\.com|topvisor\.com) [NC]
RewriteRule .* - [F,L]

RewriteCond %{HTTP_USER_AGENT} (AdsTxtCrawlerTP|aiHitBot|AlphaBot|Amazonbot|Applebot|archive\.org_bot|Audit|AwarioBot|axios|BackupLand|Baiduspider|Barkrowler|bingbot|Birubot|Bitrix|BLEXBot|Butterfly|CamontSpider|CCBot|coccoc|coccocbot-web|Crawler|curl|CyotekWebCopy|Dalvik|DataForSeoBot|Discordbot|DnyzBot|DotBot|DuckDuckGo-Favicons-Bot|ev-crawler|EventMachine|Exabot|ExtLinksBot|Ezooms|FairShare|FlipboardProxy|GeedoBot|Gigabot|Go-http-client|gold\ crawler|got|HeadlessChrome|HostTracker|HTTrack|ia_archiver|Iframely|InAGist|INETDEX-BOT|intelx\.io_bot|InternetMeasurement|InternetSeer|Java|JS-Kit|keys-so-bot|kmSearchBot|Konturbot|Ktor|larbin|LetsearchBot|Library|Linespider|Linguee|LinkedInBot|LinkExchanger|LinkpadBot|ltx71|lwp-trivial|Mail\.RU_Bot|Mail\.RU_Bot/Fast|MauiBot|MCN|meanpathbot|Mediatoolkitbot|MegaIndex\.ru|METASpider|MetaURI|MixrankBot|MJ12bot|MLBot|Moreover|msnbot|msnbot-media|Nekstbot|NetcraftSurveyAgent|netEstate|Nigma\.ru|NING|NjuiceBot|None|Nutch|okhttp|page-audit|PaperLiBot|PetalBot|PHP/|PingAdmin\.Ru|Pinterestbot|PixelTools|PostRank|PR-CY\.RU|ptd-crawler|Purebot|PycURL|Python|python-httpx|python-requests|Python-urllib|QuerySeekerSpider|ReactorNetty|RockMelt|rogerbot|SafeDNSBot|Scooper|Scrapy|Screaming|ScribdReader|SearchBot|SeekportBot|SemrushBot|SEO|SEOkicks|SeopultContentAnalyzer|serpstatbot|SeznamBot|SiteAnalyzerbot|SiteBot|SiteCheckerBot|SiteExplorer|Slurp|SMTBot|SolomonoBot|Soup|Spawning-AI|spbot|Spider|SputnikBot|statdom\.ru|strawberryj|suggybot|Summify|SurdotlyBot|SurveyBot|SWeb|TelegramBot|ttCrawler|TurnitinBot|TweetedTimes|TweetmemeBot|UnwindFetchor|User-Agent|Voyager|WebDataStats|WellKnownBot|Wget|WordPress|XenForo|Yeti|YottosBot|Zoombot|ZoominfoBot|Zeus|^\$) [NC]
RewriteRule .* - [F,L]
alaev
На сайте с 18.11.2010
Offline
784
#5
Алексанр #:

Спасибо большое! Написал в поддержку яндекса, жду ответа (скинул им логи, попросили) - приложу ответ в этой теме.

Пожалуйста!

Напишут, что ничего страшного, поиск сделан так, что повлиять на него нельзя.

А
На сайте с 29.10.2016
Offline
63
#6
alaev #:

Пожалуйста!

Напишут, что ничего страшного, поиск сделан так, что повлиять на него нельзя.

Обнаружил еще странные переходы с:

https://www.yandex.by/ (у яндекса установлен редирект на https://yandex.by/ )
https://www.yandex.ru/ (у яндекса установлен редирект на https://dzen.ru/?yredirect=true)
alaev
На сайте с 18.11.2010
Offline
784
#7
Алексанр #:
Обнаружил еще странные переходы с:

https://www.yandex.by/ (у яндекса установлен редирект на https://yandex.by/ )
https://www.yandex.ru/ (у яндекса установлен редирект на https://dzen.ru/?yredirect=true)

Вот тебе в помощь https://alaev.net/zametki/staroe/blokirovka-botov-htaccess

Первой части хватит. Но, скорее всего, рефки поддельные и их видит только метрика.

В логах сервера посмотри, вероятно, там рефок нет.

Или второй частью скрипта по ссылке блокируй, либо ставь cloudflare.

Можно ещё настроить отложенную загрузку метрики.

А
На сайте с 29.10.2016
Offline
63
#8
png screenshot_1.png
А
На сайте с 29.10.2016
Offline
63
#9
alaev #:
В логах сервера посмотри, вероятно, там рефок нет.

Как раз в логах сервера и нашел.
+ еще таких рефералов: https://yandex.ru/ (этот адрес редиректит на https://dzen.ru/?yredirect=true)

заблокировал так:

RewriteCond %{HTTP_REFERER} ^http://(www\.)?yandex\.[a-z]{2,3} [NC,OR]

RewriteCond %{HTTP_REFERER} ^http://(www\.)?google\.[a-z]{2,3} [NC,OR]

RewriteCond %{HTTP_REFERER} ^http://m\.facebook\.com/$ [NC,OR]

RewriteCond %{HTTP_REFERER} ^https://yandex\.ru/$ [NC,OR]

RewriteCond %{HTTP_REFERER} ^https://www\.yandex\.by/$ [NC,OR]

RewriteCond %{HTTP_REFERER} ^https://www\.yandex\.ru/$ [NC]

RewriteRule ^ - [F,L]

А
На сайте с 29.10.2016
Offline
63
#10

Может у вас есть в текстовом варианте страница? Доступ из Беларуси на ваш сайт заблокирован.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий