Почитать тему идея не плохая, но боюсь уйдет дней десять. 550 страниц из них основная часть это выяснение личных отношений.
турбо страницы размещены на сервере яндекса, яндекс их никак вообще не защищает. а еще их офигенно легко и удобно парсить контент с них, т.к. там данные максимально стандартизированы, распаршивать все структурно легко, заглавия, тексты, картинки...
похоже не знаком с такой штукой как RSS
Всякая хрень, которую написали, не проверив)) Проверяйте, прежде чем применять на сайте
HTTP/1.0" 200 .... Googlebot/2.1;
И что тогда в статистике счетчика РСЯ считается отказом? Не просмотр объявления?
Не грозит ли это пессимизацией моему сайту?
- Счетчик ( 2) РСЯ собирает статистику по рекламным блокам рся- Входящему трафику на сайт ( счетчик 1 )Сравните время загрузки счетчиков 1 и 2, у пользователей ( если точнее у ботов ) Время загрузки счетчиков Я, боты считывают, и дальнейшие действия бота, уже в зависимости от его задачи - отказ, не отказХз, у ботоводов спросите, какая у них задача и чего они добиваются))
Существуют целые комбайны для создания, например, блогов под Дзен, нагула профилей, нагула посещаемости на них, увеличения видимости в ленте и дальнейшей монетизации на контексте.
Некоторым точно больше года.
По сути яндекс породил Дзен, вместо линкопомоек, да еще дал возможность при этом монетезировать
Ещё я видел телевизор Самсунг, который влез на сайт по ссылке из вконтакта, шёл с питерского мегафона, но на сайте переконнектился к Краснодару 😁😁😁
Скорее всего, это говорит о том, что в ботоводы подалась школота и соотвественно увеличение бото трафа не за горами
Не получится, Боты читают значение, и в зависимости от задачи будет отказ или не отказ
Т.е вместо 15 они будут на сайте 3, или меньше 3х
Не охото терять быстроробота по обходу страниц из метрики.. 😀
Быстро робот по RSS ходит, постинг, пинг и через минуту страница в индексе
