Значит контент на сайте бестолковый, но я уверен, ты считаешь его качественным и всем нужным. А для взгляда со стороны людей опытнее тебя ты сайт прячешь. Ну результат закономерный, чо.
Тут целая толпа зомби. Шатаются со своими ГСами, не понимая, что они никому, кроме ПФ ботов - не нужны ;)
Проверяет нет ли обмана ПС, т.е клоакинга. И по сути обман есть, по мнению Яндекса, ты "живым" пользователям с хорошей историей, отдаешь 403, а боту контент 200
Тогда бы сайты на дно ушли. Подчеркну - сайты, а не какой-то один из них. Но запросы в топе.
P.S.: не совсем понял, а что можно в роботсе-то найти? Получил "живой" (бот) 403 ответ при обращении к определенной странице. В роботсе, при этом, что должно быть прописано, если бы я занимался клоакингом? ЯБот не должен ли идти на ту же самую страницу, при обращении к которой получил 403 "живой" (бот)?
Vladimir#: Проверяют, не закрытые ли это категории для бота?
Аргументируй предположение? Я, к примеру, не понял, если привязывать 403, полученные ботами ПФ при запросах на страницу, то причем тут ЯндексБот, который шлет тонну запросов в robots.txt. Что он там пытается обнаружить-то?
kolchakA : Подскажите, как/где поискать WP темы с хорошими показателям по сервису PageSpeed + адаптивные "из коробки"? Кстати, что насчет базовых тем (которые в WP доступны сразу при установке)? Если их использовать - поисковики сайт не пеналят за то, что тема не индивидуальная?
Тимфорест, там большой выбор.
Но любую тему надо допиливать под себя. И любую тему можно докрутить до соточки на PS, только зачем?
Я полагаю, что они как-то видят 403 в промежутке между сайтами с кодом 200, поэтому туда и отправляют своего бота проверить доступность сайта, а потом это учитывают.
Т.е. для каждого пользователя они видят историю посещений сайтов по обращению к метрике, плюс могут смотреть куки браузера (как минимум куки метрики) , сравнивать и потом анализировать.
А к роботс почему запросы шлют, в то время как боты 403 получают при обращении на популярные страницы?
P.S.: в любом случае я отпишусь чем дело закончится в разборе моего вопроса.
Vladimir#: Ботам пофигу запрещено или нет. Ну и пускай бегает часто, зачем страницы сайта ботам Я. отдавать? Настрой last-modified, 304
Настроено все как надо. Просто тут уже интерес: ЯБот просто долбится в роботс. Чтобы было понятно, для сравнения, 80% всех запросов к сайту у ЯБота - к robots.txt В СП толком ничего не отвечают по этому поводу ;)
alaev#: От количества страниц на сайте не вижу зависимости. Вижу такую взаимосвязь. Чем больше ботов для ПФ дробятся в сайт, тем чаще за ними бежит бот Яндекса.
Ну так ведь боты 403 получают, им метрика не выгружается. Я, сначала, думал, что Яндекс Бот перед сканом страницы обращается к роботсу, мол: можно?, а потом уже идет на страницу. Но на сайте всего 138 страниц + несколько сайтмапов, остальные страницы корректно настроены и отдают 404 (там где надо, и их по пальцем одной руки пересчитать).
Потом думал, что юзерагенты подставляют, и пристально следил за этим нюансом - все чисто.
В итоге, Яндексы сказали, что это их роботы, но внятного ответа: какого фига они каждый раз долбятся в роботс - так и не получил. Общаюсь уже на автомате, может чего узнаю ;)
Значит контент на сайте бестолковый, но я уверен, ты считаешь его качественным и всем нужным. А для взгляда со стороны людей опытнее тебя ты сайт прячешь. Ну результат закономерный, чо.
Тут целая толпа зомби. Шатаются со своими ГСами, не понимая, что они никому, кроме ПФ ботов - не нужны ;)
Кто знает, как накручивают показы ? Мне предлагали пробно и менее чем за минуту 3000 просмотров накрутилось, это как?
Обратитесь к SMM-специалисту с консультацией, он все по полочкам расскажет.
Проверяет нет ли обмана ПС, т.е клоакинга.
И по сути обман есть, по мнению Яндекса, ты "живым" пользователям с хорошей историей, отдаешь 403, а боту контент 200
Тогда бы сайты на дно ушли.
Подчеркну - сайты, а не какой-то один из них.
Но запросы в топе.
P.S.: не совсем понял, а что можно в роботсе-то найти? Получил "живой" (бот) 403 ответ при обращении к определенной странице. В роботсе, при этом, что должно быть прописано, если бы я занимался клоакингом?
ЯБот не должен ли идти на ту же самую страницу, при обращении к которой получил 403 "живой" (бот)?
Так накруткой занимаешься "живому" посетителю 403 отдаешь, а боту Яндекса 200 🤣
Задай вопрос, они случаем, за это не пессимизируют сайт?
Нет, иначе бы мои сайты на дно ушли, а они - в ТОПе.
Проверяют, не закрытые ли это категории для бота?
Аргументируй предположение?
Я, к примеру, не понял, если привязывать 403, полученные ботами ПФ при запросах на страницу, то причем тут ЯндексБот, который шлет тонну запросов в robots.txt.
Что он там пытается обнаружить-то?
Подскажите, как/где поискать WP темы с хорошими показателям по сервису PageSpeed + адаптивные "из коробки"? Кстати, что насчет базовых тем (которые в WP доступны сразу при установке)? Если их использовать - поисковики сайт не пеналят за то, что тема не индивидуальная?
Тимфорест, там большой выбор.
Но любую тему надо допиливать под себя. И любую тему можно докрутить до соточки на PS, только зачем?
Я полагаю, что они как-то видят 403 в промежутке между сайтами с кодом 200, поэтому туда и отправляют своего бота проверить доступность сайта, а потом это учитывают.
Т.е. для каждого пользователя они видят историю посещений сайтов по обращению к метрике, плюс могут смотреть куки браузера (как минимум куки метрики) , сравнивать и потом анализировать.
А к роботс почему запросы шлют, в то время как боты 403 получают при обращении на популярные страницы?
P.S.: в любом случае я отпишусь чем дело закончится в разборе моего вопроса.
Чем больше на сайте заблокировано ботов или они просто не отгадали капчу, теб больше обращений ботов яндекса к сайту.
А вот это уже интересно.
Но я не могу себе даже представить, зачем это ЯБоту?
Ботам пофигу запрещено или нет.
Ну и пускай бегает часто, зачем страницы сайта ботам Я. отдавать?
Настрой last-modified, 304
Настроено все как надо.
Просто тут уже интерес:
ЯБот просто долбится в роботс.
Чтобы было понятно, для сравнения, 80% всех запросов к сайту у ЯБота - к robots.txt В СП толком ничего не отвечают по этому поводу ;)
От количества страниц на сайте не вижу зависимости. Вижу такую взаимосвязь. Чем больше ботов для ПФ дробятся в сайт, тем чаще за ними бежит бот Яндекса.
Ну так ведь боты 403 получают, им метрика не выгружается.
Я, сначала, думал, что Яндекс Бот перед сканом страницы обращается к роботсу, мол: можно?, а потом уже идет на страницу.
Но на сайте всего 138 страниц + несколько сайтмапов, остальные страницы корректно настроены и отдают 404 (там где надо, и их по пальцем одной руки пересчитать).
Потом думал, что юзерагенты подставляют, и пристально следил за этим нюансом - все чисто.
В итоге, Яндексы сказали, что это их роботы, но внятного ответа: какого фига они каждый раз долбятся в роботс - так и не получил. Общаюсь уже на автомате, может чего узнаю ;)