Как отвадить робота от переобхода мусорных страниц

1 234
A6
На сайте с 02.09.2019
Offline
87
#21
br.almighty #:

Может у вас метрика установлена на 404 страницах и включен обход по счетчикам? Я когда-то  пробовал устанавливать счетчик на 404 страницы, так яндекс постоянно находил страницы, которых никогда не было нигде в принципе.

И если вас умудряется яндекс заддосить, то стоит задуматься или об оптимизации, или об качестве хостинга, или о расширении мощностей. Ну это так, общий совет для всех.

Спасибо за подсказку. Отрабатывает метрика

A6
На сайте с 02.09.2019
Offline
87
#22
Антоний Казанский #:

Это не отменяет вышенаписанное. Здесь важно понять, что любые рабочие процессы запрограммированы и все они имеют причинно-следственные связи. 

Просто так Яндекс не будет тратить ресурсы на обход бесполезных URL-ов, если робот ходит, значит есть стартовые импульсы туда идти и этот импульс не возникает на пустом месте. Значит есть источники, которые ссылаются на давно удалённые вами страницы.

Скорее всего это генерируется в результате не удалённых данных, либо других ошибок в навигации, которые генерируются в коде, а в видимой части сайты вы их не видите.

Исключено наличие внутренних, внешних ссылок и иных источников уже год

Vladimir
На сайте с 07.06.2004
Offline
615
#23
Антоний Казанский #:

Мой предыдущий ответ был не в адрес ТС, а для Andrew666. 

он написал причину, которую вы не соизволили прочитать)


Антоний Казанский #:

Скорее всего это генерируется в результате не удалённых данных, либо других ошибок в навигации, которые генерируются в коде, а в видимой части сайты вы их не видите.

- при склейки полтора года назад домена, из "загруженных"
- убирается склейка домена, и выдается 404

И не надо выдумывать и генерить про какой то код, просто читать внимательно
Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
Антоний Казанский
На сайте с 12.04.2007
Offline
788
#24
Andrew666 #:
Исключено наличие внутренних, внешних ссылок и иных источников уже год

Не должно быть без причин таких аномалий, надо разбираться в чём дело.

Наверняка что-то упустили.

Дайте доступы, посмотрю.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Антоний Казанский
На сайте с 12.04.2007
Offline
788
#25
Andrew666 #:
Отрабатывает метрика

Метрика и должна отрабатывать на 404 страницах. При генерации шаблона для 404 ошибки Метрика из шаблона никуда не пропадает. 

WN
На сайте с 22.02.2022
Offline
26
#26
поставить клауд и написать правило, которое бы отсекало яндекс ботов на страницах не имеющую структуру Вашего сайта (или наоборот)?
[Удален]
#27
Антоний Казанский #:

Метрика и должна отрабатывать на 404 страницах. При генерации шаблона для 404 ошибки Метрика из шаблона никуда не пропадает. 

Мне чисто из любопытства интересно про какие шаблоны вы говорите?

WN
На сайте с 22.02.2022
Offline
26
#28
br.almighty #:

Мне чисто из любопытства интересно про какие шаблоны вы говорите?

он думает наверное про Wordpress и код метрики в header или подвале.

[Удален]
#29
WantNight #:

он думает что у Вас Wordpress и код метрике в header или подвале.

Я это понял. Только не у меня, а у  Andrew666. Почему здесь постоянно так думают? Он вроде не писал ничего какой у него там движок. Здесь все по умолчанию что ли вордпресом пользуются?

Антоний Казанский
На сайте с 12.04.2007
Offline
788
#30
br.almighty #:
Мне чисто из любопытства интересно про какие шаблоны вы говорите?

Про те, которые формируют страницу.


WantNight #:
он думает наверное про Wordpress и код метрики в header или подвале.

Практически в любой CMS страница собирается из базовых частей. Самописные кстати тоже.

Суть в том, что при формировании 404 страницы, код Метрики никуда не пропадает.

Более того, в Метрике можно вести отслеживание 404 страниц через цели.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий