Проблему решил, может кому-то пригодиться.
ip яндекса успешно вносятся фаерволами в блэклисты https://forum.cloudlinux.com/forum/imunify360/general-discussion-ab/39045-global-whitelist-issues#post39204
Из за этого и проблема.
Сейчас в DNS нет записей AAAA (ipv6). Нет записи - не поддерживаем, значит яндекс не будет обращаться с ipv6 тк некуда.
+ если ipv6 не отвечает он на ipv4 попробует
Коллеги, всем привет!
Может кто-то сталкивался с проблемой, яндекс начал выкидывать страницы из индекса с пометкой " Запрещено элементом noindex " (скрин прилагаю)
После анализа, было выявлено что такую страницу отдает Яндексу Клаудфлер.
Решили отключить все на сервере, imunify360, проксирование Клаудфлер и т.д Это сделали вчера, пока не видно новых уведомлений об обходе.
Однако, проверка в яндекс Вебмастере инструментом "Проверка ответа сервера" не дает яндексу все равно скачать страницу (скрин прилагаю)
Что интересно, у других проектов на этом же сервере такой проблемы не наблюдается.
Через cloudflare по реферу.
И сразу видно сколько ботов отловлено и послано в одно место)))
Если на сайте ранее было много трафа (настоящего) из соцсетей это так себе решение, у меня его просто было ноль, поэтому я могу его блокировать и ставить капчу на разгадывание.
Думал может они капчу умеют разгадывать))) В Итоге CSR ноль, ни одной разгаданной капчи.
Вчера вечером заблокировал на одном из сайтов весь траф из соцсетей, рекомендательных систем и ютуба, поставил капчу. Больше не один бот не просачивается)))
Последнее время этого трафа стало очень много, и продолжал увеличиваться.
Через 7-10 дней отпишусь по результату.
У Вас то и трафа из соцсетей не было, а потом пошли эти боты . Чего тогда паритесь? Заблокируйте траф из соцсетей. Поставьте капчу при переходе из соцсети.
У меня позиции падают, но провести прямую зависимость сложно.
Все тут про соцсети говорят, но с этих же ip с которых ходят из соцсетей ходят и из результатов поиска, и прямые заходы тоже эти же ip.
Прямой заход и переход из соцсети в данном случае это одно и тоже, только при переходе из соцсети, к вам ни кто из соцсети не заходил, это тот же прямой переход только передается реферер любой из соцсетей.
Это все делается какой-то прогой для накрутки. И вам специально ни кто вредить не хочет, я так понимаю это они себе "нагуливают" показатели, что бы потом использовать для переходов на те сайты которые будут крутить. Метрика видимо не умеет этот траф фильтровать, и как говорили ранее, зенопостер недавно научился передавать реферер. Вот все и увидели траф из соцсетей. А траф из ПС этих же ботов ни кто не видит, так как в общем потоке настоящего трафа его сложно как-то отделить.
Я то понимаю как это работает, и так понимаю вы оказываете услуги крауда.
И вы "продаете лопаты" как во время золотой лихорадки.
Услуга высосана из пальца, и только обогащает исполнителей.
по 200 спам, по 2000 нерентабельно все этим сказано.
Своего клиента по гемблингу можете продвигать таким краудом, я писал про СДЛ в белой нише. Это есть в первом моем посте, даже заглавными буквами написал.
Я тут редко бываю.
В целом, поставить ссылку с модерируемого форума можно, сам лично брал и делал, что-то снесли, что-то оставили.
Почему не следят за качеством крауд-сервисы? Потому что у них видимо хватает клиентов:kozak:)))
Хорошо что переехал от них основными проектами еще при первых качелях в начале года.
Остались лендинги около 100 шт. Как бы их скачать(((
