Александр

Александр
Рейтинг
198
Регистрация
18.03.2020
nFat #:
Спасибо за пояснения! Анализировать access.log нужно? или самому в MySQL записывать данные?

Именно.
Они лучше всего покажут кто ломился, когда, на какие страницы и т.д.
Так же, для SEO полезно глянуть: куда и когда идут боты от ПС. Можно погуглить и глянуть зачем это все и что можно с этим анализом потом делать.

Kwik #:
Можете скинуть ссылку на сообщение в общей теме или тему, где есть мануал по фильтрации ботов через CF, пожалуйста? 

Тут придется самому, так как этот процесс индивидуальный. Нет каких-то универсальных настроек. Разве что, ipv6 отключить, но и то, тут надо еще разбираться, нужно ли.
Тут есть инфо по CF.

Vladimir SEO #:
ну грубо говоря получается что огромное количество сайтов которые использовали в товарах/статьях видео - теперь нужно все переделать, а это мега огромный кусок работы, мда

Ссылки / вставленные видео / все стратегии, где задействован Ютуб - все переделывать, как в свое время, снимали ссылки на инст (ох как меня бомбило! Я только-только карточки наполнил красиво и встроил в них посты из инст, с сеткой фоток. Получалось, что на 1 карточку у меня до 200 шт фоток и коротких сторис, показывающий товар со всех ракурсов. Пришлось потом все перезаливать уже в саму карточку).
А потом это все перезаливать на хостинг (БД какую-нибудь), все заново тянуть или из VK встраивать. И, судя по всему, нет никаких гарантий того, что и VK, слетевший с катушек РКН, за что-нибудь не забанит.

Т.е., я сейчас вырабатываю вариант, чтобы максимально обойти стороной токсичный РКН с его закидонами, с прицелом на будущее.
Судя по всему, с интеграциями элементов из соц.сетей лучше или вообще закончить, или продумать какие-нибудь отдельные блоки, которые в 2 клика потом редактировать.

Но я склонен верить в то, что здравый смысл возобладает и ютуб, все же, оставят в покое...

Ivanov123 :
Для чего эти сайты создаются? 

Для РСЯ.
Парсят картинки, текст, видео, обвешиваются баннерами, скликивают ботами рекламу == профит.

Vladimir SEO #:
ватс апп и потом телега наверное.

А потом и до почтальонов дойдут :D

nFat #:
По-большому счету , как я понял, лучше самому отслеживать ботов. Есть ли какие-то PHP скрипты для анализа бототрафа?

Для сортировки и анализа логов - есть как срипты (самопис), так и программы (можно загуглить, но все они - eng и доступны через VPN).
Я сортирую и анализирую через самопис.

Можно вообще просмотреть логи и понять что к чему через excel / google таблицы, но это для тех, кто понимает что делает, и понимает, куда потом этот список скармливать для отслеживания.
Можно не скармливать, но, опять же, надо понимать для себя, как потом это дело контролировать.

Я все этапы прошел: от таблиц, до самописа.

Могу посоветовать, все же, поиграться с настройками в CF (хотя я ярый его противник не потому, что это CF, а потому, что его в любой момент могут блокнуть в РФ), в нем будет виден список IP, сеток, страны и т.д. и на его основе можно уже потом будет сверстать самопис с усеченным функционалом только для блока ботов.

unej #:
В новой метрике еще не разобрался, где смотреть.

Отчеты > Роботы.

А вообще надо на сервере поднимать файлы с логами и там уже сортировать, анализировать: что за трафик, откуда и т.д.
Вполне вероятно, что ботов нагнали, а Яндекс может их просто не учитывать и просмотры не оплачивать (это в качестве одной из гипотез).

Кайдал #:
Ютуб просто в последнее время обнаглел, в этом основная причина.

Обнаглел быть самой крупной видео-платформой в Мире?

Через обход DPI - все работает стабильно хорошо, и грузит видео в пределах нормы (как раньше).
Через VPN - тоже не заметил проблем, но я гружу видео утром по МСК, возможно, нагрузки канала VPN в это время нет.

gamer2018 #:
Приветствую, заметил всплеск ботов на сайте и позиции просели в Яндекс, что лучше поставить cloudflare или antibot.cloud ?

В чем разбираешься и сможешь настроить или на что хватает бюджета - то и ставь.
Работают - одинаково.

Vladimir SEO #:

А точно, а как же тысячи магазинов у которых куча видео в товарах? Как им быть

Там уже пошла "байка", чтобы все вернули обратно, так как они, видите ли, не подумали, что ютубом, внезапно, могут пользоваться не только потребители "запрещенного" контента!
Кто бы мог подумать? На юутбе не только паблик Шамана был... (про паблик Шамана - это метафора).

unej #:

Статистика за 90 дней. Красным - видимые показы объявлений на всех сайтах в моем аккаунте РСЯ, синим - вознаграждение. Есть необъяснимые резкие провалы дохода при росте числа показов объявлений - обвел черными прямоугольниками,  воруют?

Трафик, при этом, проверяли на ботов?

Всего: 3117