nFat#: Спасибо за пояснения! Анализировать access.log нужно? или самому в MySQL записывать данные?
Именно. Они лучше всего покажут кто ломился, когда, на какие страницы и т.д. Так же, для SEO полезно глянуть: куда и когда идут боты от ПС. Можно погуглить и глянуть зачем это все и что можно с этим анализом потом делать.
Kwik#: Можете скинуть ссылку на сообщение в общей теме или тему, где есть мануал по фильтрации ботов через CF, пожалуйста?
Тут придется самому, так как этот процесс индивидуальный. Нет каких-то универсальных настроек. Разве что, ipv6 отключить, но и то, тут надо еще разбираться, нужно ли. Тут есть инфо по CF.
Vladimir SEO#: ну грубо говоря получается что огромное количество сайтов которые использовали в товарах/статьях видео - теперь нужно все переделать, а это мега огромный кусок работы, мда
Ссылки / вставленные видео / все стратегии, где задействован Ютуб - все переделывать, как в свое время, снимали ссылки на инст (ох как меня бомбило! Я только-только карточки наполнил красиво и встроил в них посты из инст, с сеткой фоток. Получалось, что на 1 карточку у меня до 200 шт фоток и коротких сторис, показывающий товар со всех ракурсов. Пришлось потом все перезаливать уже в саму карточку). А потом это все перезаливать на хостинг (БД какую-нибудь), все заново тянуть или из VK встраивать. И, судя по всему, нет никаких гарантий того, что и VK, слетевший с катушек РКН, за что-нибудь не забанит.
Т.е., я сейчас вырабатываю вариант, чтобы максимально обойти стороной токсичный РКН с его закидонами, с прицелом на будущее. Судя по всему, с интеграциями элементов из соц.сетей лучше или вообще закончить, или продумать какие-нибудь отдельные блоки, которые в 2 клика потом редактировать.
Но я склонен верить в то, что здравый смысл возобладает и ютуб, все же, оставят в покое...
nFat#: По-большому счету , как я понял, лучше самому отслеживать ботов. Есть ли какие-то PHP скрипты для анализа бототрафа?
Для сортировки и анализа логов - есть как срипты (самопис), так и программы (можно загуглить, но все они - eng и доступны через VPN). Я сортирую и анализирую через самопис.
Можно вообще просмотреть логи и понять что к чему через excel / google таблицы, но это для тех, кто понимает что делает, и понимает, куда потом этот список скармливать для отслеживания. Можно не скармливать, но, опять же, надо понимать для себя, как потом это дело контролировать.
Я все этапы прошел: от таблиц, до самописа.
Могу посоветовать, все же, поиграться с настройками в CF (хотя я ярый его противник не потому, что это CF, а потому, что его в любой момент могут блокнуть в РФ), в нем будет виден список IP, сеток, страны и т.д. и на его основе можно уже потом будет сверстать самопис с усеченным функционалом только для блока ботов.
unej#: В новой метрике еще не разобрался, где смотреть.
Отчеты > Роботы.
А вообще надо на сервере поднимать файлы с логами и там уже сортировать, анализировать: что за трафик, откуда и т.д. Вполне вероятно, что ботов нагнали, а Яндекс может их просто не учитывать и просмотры не оплачивать (это в качестве одной из гипотез).
Я уже 5-й день вообще не пользуюсь Ютубом, ибо невозможно.
Закодировался?
Без толку
Ну и так и не понял - посты для сайта тоже без толку
Ну и еще момент: уберет человек группу свою же, в надежде, что вместо нее встанет его сайт. А Яндекс возьмет и влупит группу конкурента :D
ну и зачем вам ютуб часто?
А 15% конверсии из ютуба (в одной из тематик), как Вам?
А маркетинговое продвижение за пределами РФ и внутри РФ - БЕСПЛАТНО, как Вам?
Еще раз подчеркну, в Ютубе не только ваши паблики, в нем собрана вся мировая видео-библиотека!
Кто знает, что за боты CCBot и NBot и нужно их банить? Работают на одном AS AS14618
Я блокнул.
Спасибо за пояснения! Анализировать access.log нужно? или самому в MySQL записывать данные?
Именно.
Они лучше всего покажут кто ломился, когда, на какие страницы и т.д.
Так же, для SEO полезно глянуть: куда и когда идут боты от ПС. Можно погуглить и глянуть зачем это все и что можно с этим анализом потом делать.
Можете скинуть ссылку на сообщение в общей теме или тему, где есть мануал по фильтрации ботов через CF, пожалуйста?
Тут придется самому, так как этот процесс индивидуальный. Нет каких-то универсальных настроек. Разве что, ipv6 отключить, но и то, тут надо еще разбираться, нужно ли.
Тут есть инфо по CF.
ну грубо говоря получается что огромное количество сайтов которые использовали в товарах/статьях видео - теперь нужно все переделать, а это мега огромный кусок работы, мда
Ссылки / вставленные видео / все стратегии, где задействован Ютуб - все переделывать, как в свое время, снимали ссылки на инст (ох как меня бомбило! Я только-только карточки наполнил красиво и встроил в них посты из инст, с сеткой фоток. Получалось, что на 1 карточку у меня до 200 шт фоток и коротких сторис, показывающий товар со всех ракурсов. Пришлось потом все перезаливать уже в саму карточку).
А потом это все перезаливать на хостинг (БД какую-нибудь), все заново тянуть или из VK встраивать. И, судя по всему, нет никаких гарантий того, что и VK, слетевший с катушек РКН, за что-нибудь не забанит.
Т.е., я сейчас вырабатываю вариант, чтобы максимально обойти стороной токсичный РКН с его закидонами, с прицелом на будущее.
Судя по всему, с интеграциями элементов из соц.сетей лучше или вообще закончить, или продумать какие-нибудь отдельные блоки, которые в 2 клика потом редактировать.
Но я склонен верить в то, что здравый смысл возобладает и ютуб, все же, оставят в покое...
Для чего эти сайты создаются?
Для РСЯ.
Парсят картинки, текст, видео, обвешиваются баннерами, скликивают ботами рекламу == профит.
ватс апп и потом телега наверное.
А потом и до почтальонов дойдут :D
По-большому счету , как я понял, лучше самому отслеживать ботов. Есть ли какие-то PHP скрипты для анализа бототрафа?
Для сортировки и анализа логов - есть как срипты (самопис), так и программы (можно загуглить, но все они - eng и доступны через VPN).
Я сортирую и анализирую через самопис.
Можно вообще просмотреть логи и понять что к чему через excel / google таблицы, но это для тех, кто понимает что делает, и понимает, куда потом этот список скармливать для отслеживания.
Можно не скармливать, но, опять же, надо понимать для себя, как потом это дело контролировать.
Я все этапы прошел: от таблиц, до самописа.
Могу посоветовать, все же, поиграться с настройками в CF (хотя я ярый его противник не потому, что это CF, а потому, что его в любой момент могут блокнуть в РФ), в нем будет виден список IP, сеток, страны и т.д. и на его основе можно уже потом будет сверстать самопис с усеченным функционалом только для блока ботов.
В новой метрике еще не разобрался, где смотреть.
Отчеты > Роботы.
А вообще надо на сервере поднимать файлы с логами и там уже сортировать, анализировать: что за трафик, откуда и т.д.
Вполне вероятно, что ботов нагнали, а Яндекс может их просто не учитывать и просмотры не оплачивать (это в качестве одной из гипотез).