для разбавления контента?
Да, чисто для разнообразия. Чтобы человек, зайдя на городской сайт, мог увидеть "выжимку" местных новостей.
Ноуиндекс же. Разместить в хэдере при условии наличия гет-параметра - и всё, вопрос решён.
На самом деле, CMS - это не только панель администратора. Да и в панели администратора понадобится ещё кое-что, кроме редактирования новости и настройки CSS.
У вас вообще есть опыт написания самописных систем?
Ну, почитайте документацию и вы увидите, что роботс - тоже самое, что ноиндекс в теле страницы.
Твою же душу, как всё запущено... Ну почитайте:https://developers.google.com/search/docs/crawling-indexing/robots/intro
Файл robots.txt не предназначен для того, чтобы запрещать показ ваших материалов в результатах поиска Google. Если вы не хотите, чтобы какие-либо страницы с вашего сайта были представлены в Google, добавьте на них директиву noindex
Ужосс... Почитайте ещё:https://support.google.com/webmasters/answer/12818275?hl=ru
Файл robots.txt предназначен только для того, чтобы запретить сканирование тех или иных страниц. Если вам нужно предотвратить появление страницы или изображения в результатах поиска, используйте другие средства.
Какое отношение имеет переход на страницу к запрету ее индексации? ) Роботс запрещает индексацию, а не переход на эту страницу. Ровно так же, как и тег ноиндекс на самой странице и, вот неожиданность, что бы его ПС увидела - ей надо сначала получить страницу )
Вы о чём вообще? Если робот перешёл на страницу, то он может её проиндексировать, для Вас это большая новость? И если, перейдя на страницу, он увидит там noindex, то не станет её индексировать - с этим тоже будете спорить? Ну давайте продолжим эту бесполезную дискуссию, в которой Вы опираетесь исключительно на свой личный опыт, а не на документы поисковых систем. Поэтому и возникают такие фразы:
А вы сами читаете кого-то по rss? 😊
При чём тут чтение RSS? RSS нужны для размещения ссылок на других ресурсах. Я, например, кое-где разместил новостные ленты. Не свои, а чужие на своём сайте.
Нет, не только. Когда висит ссылка на стороннем сайте, то поисковик даже не смотрит в роботс, а сразу переходит по ссылке. Просто конкретно в вашем случае таких ссылок, по-видимому, не было, но это не означает, что такая же ситуация у всех.
Когда появляется надпись типа "подождите пять секунд", люди не с рекламой знакомятся, а тупо смотрят на эту надпись.
И я тут немного подумал - скорее всего, по указанной ссылке ничего нет, и кдаудфлэр просто обрабатывает подобные запросы таким образом, что подсовывает файл со своего сервера. В таком случае бесполезно что-то предпринимать через апач или энджинкс, и вопрос можно решить только через сам клаудфлэр.
Однако основной вопрос остаётся: с какого перепуга Гугл всё это решил включать в индекс? Но это вопрос для другого раздела, этот топик мы уже итак зафлудили обсуждением нерелевантного вопроса.
