Странности национальной поисковой системы (Sputnik)

12
gagarin123
На сайте с 23.01.2008
Offline
137
2541

Некоторое время назад написал правила, запрещающие индексировать мои сайты роботам из диапазона IP адресов 109.207.13.0/24. Причиной тому была неимоверная активность пауков, которые пытались каждый день выкачать сайты полностью, что при большом количестве страниц создавало ощутимую нагрузку.

Просматривая сегодня утром логи, обнаружил странные заходы:

46.61.219.35 - - [31/Oct/2013:10:50:40 +0400] "GET /interestingly/ HTTP/1.1" 200 9000 "http://www.yandex.ru" "Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11"

46.61.219.35 - - [31/Oct/2013:10:50:40 +0400] "GET /css/news.css HTTP/1.1" 200 6299 "http://www.yandex.ru" "Opera/9.80 (X11; Linux i686; U; ru) Presto/2.8.131 Version/11.11"

46.61.219.35 - - [31/Oct/2013:10:50:44 +0400] "GET /internet/ HTTP/1.1" 200 8933 "https://www.google.ru" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/534.55.3 (KHTML, like Gecko) Version/5.1.3 Safari/534.53.10"

46.61.219.35 - - [31/Oct/2013:10:50:44 +0400] "GET /css/news.css HTTP/1.1" 200 6299 "https://www.google.ru" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/534.55.3 (KHTML, like Gecko) Version/5.1.3 Safari/534.53.10"

46.61.219.35 - - [31/Oct/2013:10:50:45 +0400] "GET /russia/ HTTP/1.1" 200 9296 "http://www.yandex.ru" "Opera/9.80 (Windows NT 6.0; U; en) Presto/2.8.99 Version/11.10"

Угадайте, кому принадлежит IP адрес 46.61.219.35:

whois 46.61.219.35
role: JSC Rostelecom Technical Team
address: JSC Rostelecom
address: Russian Federation
РР
На сайте с 17.02.2012
Offline
74
#1

Теперь придется терпеть "опыты" нового ПС. Хотя думаю можно отписать к ним в рос кому и сказать, что не хотите индексации сайта, наверняка есть "особые" варианты запрета.

А так обычно на серврах автоматически стоят запреты на такие вот уникумы, иногда даже на яндекс случайно ставят.

Выход: Узнать у комов как запретить под них или постоянно добавлять новые айпи.

angrycrucian
На сайте с 13.12.2012
Offline
18
#2

Шифруется.

У меня открывается вот такой сайт по этому IP

На сайте разработчика указано

Так что возможно за вами следят.

Форматируйте диски, жгите документы, собирайте вещи и бегите.😂

Hallboy222
На сайте с 24.02.2010
Offline
119
#3

А кто сказал, что это спутник под этим ip? Для черного списка проверяют сайты.

Магазин аккаунтов с балансом Litres,DNS,Ozon,Rotapost и еще 50+ других сервисов тут - vk.cc/7QK0Sk
gagarin123
На сайте с 23.01.2008
Offline
137
#4
Hallboy222:
А кто сказал, что это спутник под этим ip? Для черного списка проверяют сайты.

Подумал, раз у IP дин хозяин "JSC Rostelecom Technical Team", значит и паук один и тот же.

LiteCat
На сайте с 03.05.2007
Offline
240
#5

Главное, чтобы не ДДОСил)) а то некоторые ныне мёртвые поисковики так быстро индексировали, что сайты пачками ложились

Mik Foxi
На сайте с 02.03.2011
Offline
1214
#6

Также с браузером опера и данной подсети ip приходят. Только в реферрере не морда яндекса, а типа результат выдачи с кеем в виде адреса моего сайта. Но ходят по разу только на новые сайты.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
юни
На сайте с 01.11.2005
Offline
933
#7

gagarin123, а у Вас какой вопрос-то?

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 20 Мбит
S2
На сайте с 19.09.2013
Offline
7
#8

Как из фильма ужасов! Вот оказывается, что бывает с национальными поисковиками.

gagarin123
На сайте с 23.01.2008
Offline
137
#9
юни:
gagarin123, а у Вас какой вопрос-то?

Возможно, приведенная мной информация будет интересна владельцам сайтов.

A
На сайте с 19.07.2010
Offline
130
#10
gagarin123:
Угадайте, кому принадлежит IP адрес 46.61.219.35:


nslookup
> 46.61.219.35
35.219.61.46.in-addr.arpa name = crawler.pressindex.ru.

> pressindex.ru
Name: pressindex.ru
Address: 46.61.219.36

какой-то фейк от вебстудии, которую озвучили выше. смело в бан.

и то спасибо, что хоть "оперой" ходят, а то клоунов хватает, которые под гугль(яндекс)-ботом через адсл ходят или через мобильных операторов.

.............
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий