Vladimir

Vladimir
Рейтинг
614
Регистрация
07.06.2004
Интересы
Photo
alaev #:

Чем больше на сайте заблокировано ботов или они просто не отгадали капчу, теб больше обращений ботов яндекса к сайту.

Так накруткой занимаешься "живому" посетителю 403 отдаешь, а боту Яндекса 200 🤣
Задай вопрос, они случаем, за это не пессимизируют сайт?

Александр #:
А к роботс почему запросы шлют, в то время как боты 403 получают при обращении на популярные страницы?

Проверяют, не закрытые ли это категории для бота?

Александр #:
Я, сначала, думал, что Яндекс Бот перед сканом страницы обращается к роботсу, мол: можно?, а потом уже идет на страницу.

Ботам пофигу запрещено или нет.
Ну и пускай бегает часто, зачем страницы сайта ботам Я. отдавать?
Настрой last-modified, 304


Алеандр #:
Очередное вверх-вниз. Вот будет прикол, если это не поиски оптимального решения, а рулетка выдачи, чтобы никому не было обидно и теперь эти качели будут постоянно )
Скорее всего у них качели, за счет перетягивания одеяла от одного отдела к другому.
Один высчитывает релевантность страниц, другой гробит ее ( каннибализация).
alaev #:

1. Иди это расскажи ботоводам, чтобы они качали ботов на localhost. Много денег ребята сэкономят на прокси 😀

2. А это зачем тогда?

3. Я понимаю, что это позор яндекса и в посещении они должны были определить левое обращение к счетчику, а не парить мозги про то, что они что-то там могут, включая учет того , кто вызвал их метрику, и откуда вызвал.

Это дно. Яндекс - не поиск.

1 Алеандр # прав. Прокси все равно нужны, даже если метрика  на локалхост. В данном случае, просто подменяем домен, а траф должен быть из различных источников
2. Привязка к домену, не к IP сайта
3. Они не могут определить левое обращение к метрике. Обращался с этим вопросом в Яндекс - послали далеко, смысл посыла, не до этого и так сойдет. Разговаривал не с менеджером, вытащил старшего разработчика

KaramazovDF #:

Что еще доводить?

Выше же написал, что конкретно делать? Или вам еще и разжевать как делать, а погуглить совсем  разучились?
здесь читаем, что делать и зачем: подробнее https://last-modified.com/

TonyBlackberry #:

как увеличение количества таких запросов влияет на видимость сайта по другим запросам.

Если попадает в подсказки по другим запросам
alaev #:
А согласно сервису вебмастер, эти люди вводят запросы из многих слов + url страницы, которую ищут.
👍
Когда, типа люди из вебмастера — иногда можно и позаимствовать топовый ключ))

Shelton724 #:

Тут другой фактор срабатывает, значимость которого подкрутили некоторое время назад кардинально. Вот Валентина написала про Пикабу, и ни у кого не возникло вопроса, что это за фигня такая, Пикабу... А ей сайт по брэнду или по имени домена ищут 2 человека в год. В том-то и разница.

Вы не внимательно прочитали комментарий, ее же комментарий про сигналы...
Нет никаких проблем с Пикабу и статьей на сайте, если еще раз внимательно прочитать ... про сигналы и применить

богоносец #:

. а экономится - если сделать - "чтобы боты  активно не посещали, и не скачивали страницы" - старые, которые в индексе ...

Вы когда полностью и внимательно читать будете?

Eddgar #:

А делается это с помощью настройки сервера, который должен отдавать поисковым ботам спец заголовок (Last-Modified), если у страницы не было обновлений с момента прошлого посещения ботом. 

Если страница не обновлялась, то сервер должен ответить заголовком: 304 Not Modified.

В этом случае боты не скачивают контент страницы и проиндексированная страница благополучно находится в индексе.
У вас же контент всех страниц сайта, постоянно активно посещаются ботом. Ну и почему бы не выкинуть при очередном сканировании?

Алеандр #:
что боты продолжают активно посещать и скачивать страницы - стремится к нулю.

Когда научишься читать и думать, тогда может поймешь, почему индексация стремится к нулю

Валентина #:
Размещаю 2-ую статью на Пикабу и она моментально, как и первая, встаёт на первое место в Яндексе. Вот мистика то... стоит разместить такую же статью на своём сайте и она в параноидальных очах Яндекса окажется фуфлом, достойным разве что 6-й страницы, и то если повезёт 🤣.
Вот тут автор комментария пишет, что надо сделать, чтобы статья на сайте, была выше статьи в Пикабу.
Внимательно только читайте.

"...Потом начала размешать статьи на Пикабу со ссылкой в Телеграм естественно, и канал появился в поиске. Видимо сигналы с авторитетных (по мнению Яндекса) сайтов здесь играют ключевую роль. "
KaramazovDF #:

Если это так, то от куда 100500 непроиндексированных страниц?

Вы решили, что наполнить сайт контентом и на этом все?
Технически сайт доводите до ума, не будет 100500.
Всего: 8954