турбо страницы размещены на сервере яндекса, яндекс их никак вообще не защищает. а еще их офигенно легко и удобно парсить контент с них, т.к. там данные максимально стандартизированы, распаршивать все структурно легко, заглавия, тексты, картинки...
похоже не знаком с такой штукой как RSS
Всякая хрень, которую написали, не проверив)) Проверяйте, прежде чем применять на сайте
HTTP/1.0" 200 .... Googlebot/2.1;
И что тогда в статистике счетчика РСЯ считается отказом? Не просмотр объявления?
Не грозит ли это пессимизацией моему сайту?
- Счетчик ( 2) РСЯ собирает статистику по рекламным блокам рся- Входящему трафику на сайт ( счетчик 1 )Сравните время загрузки счетчиков 1 и 2, у пользователей ( если точнее у ботов ) Время загрузки счетчиков Я, боты считывают, и дальнейшие действия бота, уже в зависимости от его задачи - отказ, не отказХз, у ботоводов спросите, какая у них задача и чего они добиваются))
Существуют целые комбайны для создания, например, блогов под Дзен, нагула профилей, нагула посещаемости на них, увеличения видимости в ленте и дальнейшей монетизации на контексте.
Некоторым точно больше года.
По сути яндекс породил Дзен, вместо линкопомоек, да еще дал возможность при этом монетезировать
Ещё я видел телевизор Самсунг, который влез на сайт по ссылке из вконтакта, шёл с питерского мегафона, но на сайте переконнектился к Краснодару 😁😁😁
Скорее всего, это говорит о том, что в ботоводы подалась школота и соотвественно увеличение бото трафа не за горами
Не получится, Боты читают значение, и в зависимости от задачи будет отказ или не отказ
Т.е вместо 15 они будут на сайте 3, или меньше 3х
Не охото терять быстроробота по обходу страниц из метрики.. 😀
Быстро робот по RSS ходит, постинг, пинг и через минуту страница в индексе
Конечно показывает.
Не ответил, а зря, там должно быть, что то интересное))