Очень может быть, это на усмотрение того, кто им управляет. Возможно именно так им удобнеe.
Свободу творчества и рабочих подходов никто не запрещал.
Наборные пользовательские фильтры, результаты поиска, utm и прочие рекламные метки конечно лучше (и нужно) отсекать на уровне robots-а. Виктор правильно сказал - даже не нужно, чтобы робот по ним ходил и тратил краулинговый бюджет.
Поэтому задача оптимизатора лежит в плоскости инструкций для robots и в использовании meta для целевых страниц.
И не только вам, но и программисту, который может получать ТЗ о запрете индексации множества товаров с разными признаками и выборочным положением на сайте. В robots же придётся вносить целевые адреса коих может быть бесконечно много и это становится весьма ощутимой проблемой.
Всем сразу не угодишь. Если прорабатывать детали для всех - это нужен будет полноценный динамический прототип, времени и сил на который уйдет очень много. Фактически - это полная проектная документация на подготовку уходит не одна неделя, а иногда и месяц.
Как правило на старте строится разветвленное древо и вживую поясняется как что с чем будет соотносится. Далее в зависимости от приритетов и входящих вопросов для наглядности вносятся дополнения, определяются дополнительные интеллект карты.
Потому что фильтры обычно реализуются масками ?param=чего-нибудь.
Соот-но, в robots-e по данному признаку удобно закрывать все подобные перечни, если это нужно.
Однако всё зависит от конкретной задачи. В целом, robots - это про правила переобхода сайта, мета - про регламент отдельного документа.
Яндекс.Вебмастер информирует вас о том, в результате каких инструкций страница была запрещена для индексации.
Это всё равно что ехать в месту назначения по параллельным дорогам. Кто-то так, кто-то так.
Будет сильно надо, поисковик всё равно перейдет, как ходит и учитывает nofollow ссылки, как индексирует главную и при явном корневом запрете в robots-е.
Здесь вопрос не в предпочтительности для SEO, вопрос в применительной практике. Групповое назначение noindex в мета тег гораздо удобнее реализовывать через CRM, нежели прописывать сотни, тысячи, а иногда и десятки тысяч адресов в robots которые в определённый момент времени необходимо запретить для индексации, а потом разрешить.
Для крупных интернет магазинов это зачастую актуально. Но это что касается товаров, служебные разделы и адреса необходимо закрывать в robots-е.
И насчёт фильтров - есть фильтры как перечни, а есть целевые посадочные фильтры как рабочий кластер. Поэтому фильтр фильтру рознь.
Xmind Вам в помощь. Но это что касается формирования схем и структурной карты сайты.
Для механики взаимодействия и описания рабочих элементов сайтов обычно делают прототипы. Я прототипы делаю в Axure-е.
Например, Speed cache
Все он правильно говорит. Плагины кеширования рождают различную дичь в урлах.
Плюс боты ходят по урлам, которые сами каким-то образом создают. Например, такой урл:
https://d.searchengines.guru/i/not-found_2x.png?565
Совершенно верно.
Виктор, не тратьтесь, кто знает, тот уже давно понял, о чём речь. Всё вы правильно говорите.
Лучше подробнее расскажите про конкретный рабочий эпизод. В чём выражалась аномалия, в каких признаках?
Согласен, по крайне мере на уровне бытовых наблюдения и круга общения, поэтому я и сказал выше про половую конституцию.
Некоторые женщины вообще довольно прохладно относятся к сексу и это если не считать случаи психологических и физологических травм.
Справедливости ради надо сказать, что действия мужчин также являются причиной психических неврозов.
Я лично так не думаю, но эмоциональных переживай на эту тему у женщин действительно больше, чем у мужчин.
Да, именно так. Фокус внимания женщин действительно больше смещен в сторону эмоциональных переживай, а это оставляет свой след на психике, в поведении и в сексуальных неврозах.
Не думаю, возможно этот вопрос касается одной конкретной женщины, которая для автора очень важна и он испытывает в этом конкретные проблемы. Ситуацию, как я сказал, выше нужно рассматривать комплексно и без подробного разбора псих. портрета, истории взаимоотношений давать советы сложно. Проблема может корениться в чём угодно. Элементарно здесь могут быть два разнонаправленных вектора - были ли у TC сексуальные контакты с конкретной девушкой или это вообще общий вопрос, так сказать из соображения повысить эффективность знакомств? Так что вопрос слишком общий. Всё равно что назначать лекарства без анамнеза.
Вот теперь в развёрнутом варианте верно, но начинать анализ нужно с пары "запрос" - "документ", а потом уже всё остальное.
P.s. В телегу глянь :)
Вот к этому доводу и относится мой ответ