Алексанр

Рейтинг
63
Регистрация
29.10.2016
Алеандр #:
Ни пользователи, ни боты от поисковых систем никуда не денутся. Проверял. Как заходили по IPv4, так прекрасно и заходят. А вот ботам обломс.

Если я правильно понял, отключая AAAA записи - на сайт прекращаются заходы с IPv6? Так?

Я проверил на сервисах когда обновилась информация об удалении АААА записей, смотрю логи сервера - там всеравно есть заходы (но эта подсеть IPv6 у меня не вызывала недоверия).

Более того, фижу что в вебвизоре тоже есть заходы с IPv6.

Может я что-то не так понял? Или не заблокировал IPv6?

Удалил все  записи AAAA у домена, буду наблюдать, вчера с IPv6 было 327 заходов ... стремно как-то)
Елена П. #:

Есть логи и на сервере. 

Эти адреса не совместимы с ip4

Логи есть, я имею ввиду что в этих логах нет заходов с этих подсетей (с других есть, а именно с этих нет). Соответственно я их и заблокировать не могу в .htaccess

alaev #:
Похоже на прокачку ботов. Отключи у сайта доступ по ipv6 - удали все записи AAAA у домена.

Так на сервере не фиксируются заходы в логах.  Если отключить доступ на сайт по  ipv6 - тогда реальные посетители не пройдут. Или  ipv6 автоматом будет преобразовываться в  ipv4 - признаюсь, в этом не разбираюсь.

Brat_Sergij #:

Ну тогда может и есть смысл, если вы не ориентированы на трафик из РФ и прочих стран. Но тогда зачем вылавливать отдельные айпишники, если в этом случае можно отправлять в бан любые айпишники кроме белорусских? Так будет куда более надежно. Из Беларуси накруток еще нет (сам из РБ, знаю).

Я в Минске живу. Много раз смотрел, но из РБ тоже не нашел таких подсетей, которые накручивают и т.п.

Полностью трафик закрыть из РФ не могу, т.к. есть небольшое процент заходов реальных клиентов (например люди, находясь в России, ищут услуги для своих родителей или родственников и т.п.).

Есть несколько разделов ориентированных конкретно на РФ - по ним я не хочу потерять трафик. Но и просесть из-за накруток тоже не хочется.

Всетаки одну странную подсеть в РБ я нашел: 178.172.246.0/24 (wikilink, Брест).

Раньше все нормально с ней было, потом резко в метрике почти по нулям - написал провайдеру, сказали что мол перевели клиентов на  178.172.245.0/24 , но заходы всеравно едут в логах человек 10-15-ть в день а в метрике по-нулям (скрин скидываю). Повторно им написал, что мол подозреваю что накручивают с вашей подсети - перестали отвечать) .... вот думаю, что с этой подсетью делать ....

jpg screenshot_1.jpg
Brat_Sergij #:

А какой смысл? Вместе с ботами по этим айпи вы заблочили и нормальных посетителей, которые не смогут заходить на ваш сайт. Боты сменят айпишники, а посетители нет. Начнете терять трафик, обвалятся позиции и пр. Блокировка по IP вообще не вариант!

Смысл есть, т.к. основной трафик (более 95%) идет с РБ а не с РФ - с большой вероятностью негативной накрутки.

alaev #:
Поставь cloudflare и отправляй всех в блок, либо под капчу.

В настройках есть правило для пропуска известных ботов (Яндекс, Гугл и тп).

Вроде бы все это есть на бесплатном тарифе.

Там не только боты ПФ могут ломиться, но и всякие спамеры и реф-спамеры.

Российские хостинги типа бегета и селектел сразу блочь, заодно хетзнер, овх.

Спасибо за подсказку. А по этому вопросу что-нить подскажете?

Так же хотел спросить, у знающих людей следующее - обнаружил несколько сотен в день прямые заходы (в метрике ноль по ним) с ip типа такого 2001:4860:7:605::ff - это dns Google LLC - можно ли блокировать эту подсеть (2001:4860::/32) - либо это нужные заходы мобильных устройств к серверам гугла?

Хочу поделиться опытом борьбы с ботами.

Мои сайты работают в Беларуси а трафик ботов был из России. Долго анализируя лог файлы увидел закономерность, что с некоторых подсетей боты и накрутка ПФ шли с устройств  Windows NT в 99%, а в обычных подсетях 70-80% заходы с мобильных устройств (часть лога на скрине как это выглядело).

Вот список самых активных, которые я заблокировал:

185.102.11.0/24

188.187.68.0/22    - 188.187.( 68 ,69,70,71).0/22

37.110.0.0/17

46.72.0.0/16

5.228.0.0/16

79.173.83.0/24

79.173.88.0/24

79.173.90.0/24

95.161.221.0/24

95.29.224.0/22

95.29.228.0/22

95.29.232.0/22

95.29.236.0/22

95.29.240.0/22

Так же хотел спросить, у знающих людей следующее - обнаружил несколько сотен в день прямые заходы (в метрике ноль по ним) с ip типа такого 2001:4860:7:605::ff - это dns Google LLC - можно ли блокировать эту подсеть (2001:4860::/32) - либо это нужные заходы мобильных устройств к серверам гугла?

Так же вопросы по другим подсетям (очень много прямых заходов, а в метрике по-нулям - их тоже заблокировал):

17.121.0.0/16 - APPLE-ENGINEERING

20.0.0.0/8 MICROSOFT-CORP-MSN-AS-BLOCK

52.114.75.0/24 - Microsoft

40.77.167.0/24 - MICROSOFT-CORP-MSN-AS-BLOCK

Куча подсетей амазона и т.п.

jpg screenshot_2.jpg
ale sty #:
IndexingAPI бесплатный.
YmersY #:
Совершенно верно выше сказали. Не нужно платить, всё бесплатно.

Спасибо большое! Буду разбираться!

Всего: 42