Значит контент на сайте бестолковый, но я уверен, ты считаешь его качественным и всем нужным. А для взгляда со стороны людей опытнее тебя ты сайт прячешь. Ну результат закономерный, чо.
Тут целая толпа зомби. Шатаются со своими ГСами, не понимая, что они никому, кроме ПФ ботов - не нужны ;)
Обратитесь к SMM-специалисту с консультацией, он все по полочкам расскажет.
Проверяет нет ли обмана ПС, т.е клоакинга. И по сути обман есть, по мнению Яндекса, ты "живым" пользователям с хорошей историей, отдаешь 403, а боту контент 200
Тогда бы сайты на дно ушли.Подчеркну - сайты, а не какой-то один из них.Но запросы в топе.
P.S.: не совсем понял, а что можно в роботсе-то найти? Получил "живой" (бот) 403 ответ при обращении к определенной странице. В роботсе, при этом, что должно быть прописано, если бы я занимался клоакингом?ЯБот не должен ли идти на ту же самую страницу, при обращении к которой получил 403 "живой" (бот)?
Нет, иначе бы мои сайты на дно ушли, а они - в ТОПе.
Аргументируй предположение?Я, к примеру, не понял, если привязывать 403, полученные ботами ПФ при запросах на страницу, то причем тут ЯндексБот, который шлет тонну запросов в robots.txt.Что он там пытается обнаружить-то?
Тимфорест, там большой выбор.
Но любую тему надо допиливать под себя. И любую тему можно докрутить до соточки на PS, только зачем?
Я полагаю, что они как-то видят 403 в промежутке между сайтами с кодом 200, поэтому туда и отправляют своего бота проверить доступность сайта, а потом это учитывают.
Т.е. для каждого пользователя они видят историю посещений сайтов по обращению к метрике, плюс могут смотреть куки браузера (как минимум куки метрики) , сравнивать и потом анализировать.
А к роботс почему запросы шлют, в то время как боты 403 получают при обращении на популярные страницы?
P.S.: в любом случае я отпишусь чем дело закончится в разборе моего вопроса.
А вот это уже интересно.Но я не могу себе даже представить, зачем это ЯБоту?
Настроено все как надо.Просто тут уже интерес:ЯБот просто долбится в роботс.Чтобы было понятно, для сравнения, 80% всех запросов к сайту у ЯБота - к robots.txt В СП толком ничего не отвечают по этому поводу ;)
Ну так ведь боты 403 получают, им метрика не выгружается.Я, сначала, думал, что Яндекс Бот перед сканом страницы обращается к роботсу, мол: можно?, а потом уже идет на страницу.Но на сайте всего 138 страниц + несколько сайтмапов, остальные страницы корректно настроены и отдают 404 (там где надо, и их по пальцем одной руки пересчитать).
Потом думал, что юзерагенты подставляют, и пристально следил за этим нюансом - все чисто.
В итоге, Яндексы сказали, что это их роботы, но внятного ответа: какого фига они каждый раз долбятся в роботс - так и не получил. Общаюсь уже на автомате, может чего узнаю ;)
