Вы только учтите, что статья там несколько устарела, правила в Cloudflare сейчас изменены и выглядят немного иначе.
Но как ориентир, эта статья не плохая, только применять рекомендации нужно обдуманно, а не копипастом из статьи.
И еще, там первым правилом советуют ставить "Good Bots", по которому Cloudflare пропускает всех ботов, которых считает хорошими.
Это немного не верно, так как "хорошими" Cloudflare считает много лишнего, в том числе всякие краулеры, типа: Ahrefs, SEMRush и прочих ботов, через которые конкуренты чекают ваш сайт или зарубежные боты, которые запросто положат ваш сервер при сканировании.
Первым правилом лучше ставить "Bad Bots", где через User agent вы отсеете всех ботов, которые вам не нужны.
А уже вторым правилом ставьте "Good Bots" и в нем включайте "Known Bots" Cloudflare.
И самое главное, отключайте IPV6 на Cloudflare и на сервере - сразу отсеете кучу хлама.
Аналогично, почти неделю в RSS висит <item turbo="false"> - ни одна страница не удалена.
Добавил утром отдельный RSS источник - с утра крутит статус "На проверке".
Турбо-страницы сломали, это очевидно.
Раньше турбо привлекали исключительно тем, что давали не плохой заработок на РСЯ.
Сейчас тоже самое, при хорошем трафике на выходе копейки.
Легче отключить этот глючный сервис и забыть про него, так как, на данном этапе, ничего кроме воровства трафика с сайта этот сервис не дает.
Есть мысли, за что фильтр накинули или реально под кого-то косили?
Сайт на Wordpress?
Вот и у меня аналогично.
Для теста попробовал новые источники RSS добавить - валидацию проходят мгновенно, но при включении источника крутятся на проверке больше суток и ничего не происходит.
Похоже, что сломали турбо для контента при отключении функционала для инетрнет-магазинов.
Есть тут коллеги, у которых турбо-страницы перестали работать с 9-10 марта?
У меня RSS принимает нормально, но страницы не обновляются с указанного числа.
Новые источники RSS крутятся на проверке уже вторые сутки.
Всё сломали или у Яндекса такой индивидуальный подход?
Коллеги, добрый день.
Вопрос такой - кто-то использует блоки РСЯ (RTB) в ленте с бесконечной прокруткой?
Проблема в том, что у меня крайне нестабильно показывает блоки РСЯ в бесконечной ленте.
Показы то есть, то их нет совсем, полный ноль.
Код используется такой:
<div id="yandex_rtb_R-A-ХХХХХХ-Х"></div><script type="text/javascript">if (typeof blockNumber == "undefined") { var blockNumber = 1; } else { blockNumber++; }document.getElementById("yandex_rtb_R-A-ХХХХХХ-Х").id = "yandex_rtb_R-A-ХХХХХХ-Х_" + blockNumber;setTimeout(()=>{window.yaContextCb.push(()=>{Ya.Context.AdvManager.render({blockId: 'R-A-ХХХХХХ-Х',renderTo: 'yandex_rtb_R-A-ХХХХХХ-Х_' + blockNumber,pageNumber: blockNumber})})},1000)</script>
В итоге, блоки РСЯ то грузятся, то не грузятся вообще.
Предполагал вариант, что на данный вариант нет блоков для показа, поэтому встраивал в них саморекламу.
Но, самореклама тоже порой не показывается, грузятся пустые рекламные места.
Создается ощущение, что РСЯ вообще не работает на ленте с бесконечной прокруткой, хотя в доках про это написано и приведенный код создан по рекомендациям из доков РСЯ.
У кого какие идеи?
UPD: Вопрос снимается.
Посмотрел код сайта и понял, что сам протупил.
У меня заряжалось два вида блоков: для десктопа и для мобильной версии сайта.
Но в обоих блоках для уникализации рекламного места использовал одну переменную в JS "blockNumber".
В итоге, получался конфликт, сейчас все работает.
Вывод: лучше всё делать на трезвую голову =)
Кстати, да, аналогично, варнинг на мыле от ЯВМ.
Типа, при загрузке robots.txt, сервер выдал код ответа 500, а ожидалось 200.
Вангую, что тоже увижу в базе страницы, которые были под запретом в роботсе )))
Бот то гулял свободно, а вот robots.txt был недоступен 9 часов.
Есть, сразу подумал на неё, отключал - ситуация не поменялась.
Да и логи показывают, что боты Яши спокойно гуляют по сайту с ответом от сервера 200.
Счетчик в метрике считает.
Но сама метрика и бот ЯВМ - показывают даун-тайм.
В итоге, через 9 часов само всё пришло в норму.
Это явно что-то в Яндексе заглючило.
Ощущение, что сегодня после обеда, ЯВМ заглючил.
У меня проверка ответа сервера показывает "Не удалось скачать содержимое страницы".
Метрика тоже показывает даун-тайм уже 5 часов, типа сайт недоступен.
Но, сайт загружается, а по логам сервера видно, что робот яндекса ходит и получает ответ ОК 200.
Вот тоже не пойму, что это...
