Пожалуйста.
Какую конкретно надо использовать инструкцию в robots.txt я вам однозначно сказать не могу - это зависит от структуры и функциональности сайта. Некоторые CMS по адресам типа /page могут выводить статические страницы (как правило страницы вне структурной иерархии), поэтому для начала нужно видеть сайт и понимать принципы его URL адресации (здесь может быть масса вариантов).
Смотрите какие URL адреса формируют листинги, здесь надо принимать решение с опорой на конкретный сайт. Я вашего сайта не вижу, поэтому не могу сказать однозначно, что вышеприведённый пример будет правильным.
Html карту также нет большой необходимости использовать. Это анахронизм.
Важно правильно использовать все функциональные возможности XML карты (не надо путать с html картой), вот там должны быть не только все корректные адреса, но и даты модификации страниц в теге <lastmod>.
Если у вас крупный новостной/тематический проект с обилием входящих комментариев на материалы страниц, то рекомендуется настроить поддержку заголовком last-modified и last-modified since.
p.s. Также важно будет проверить, что даже изменение заголовка страницы или meta тега должна отражаться на дате модификации страницы (зачастую этот момент упускают).
Потому что нет никакой необходимости держать листинги ни в поиске, ни в качестве url для переобхода.
Не является. Это ваше право ограничивать служебные страницы для внимания поисковых роботов.
При правильно реализованной навигации и корректно реализуемой XML карты сайта все эти страницы не нужны, они лишь занимают поисковую квоту, - тогда как её лучше использовать для индексации/переиндексации целевых страниц.
Доброго дня.В вебмастере переодически стали добавляться страницы с различными приставками к главной вроде
?a=support
?page=support
?m=201605
Я посмотрел. Внутри сайта таких адресаций (ссылок в шаблонах нет). Это генерация адресов извне.
У вас довольно странно настроена обработка 404 ошибок, она происходит не движком, а серверными настройками хостинга reg.ru. Eсли в адресе в самом начале использовать символ "?", то обработка 404-ошибок уже не срабатывает, по любому адресу типа
https://site/?=chto_ugodno
сайт выводит дубль Главной страницы с 200-ым результатом. Именно поэтому у вас возникают дубли. Так быть не должно.
Проблема в обработке 404-ых ошибок. Ищите специалиста по Wordpress-у, который проверит рабочие настройки и обеспечит работу CMS так как нужно.
Пришлите мне в личку адрес вашего сайта, я посмотрю.
Сайт не преследует никаких сомнительных целей, но ведь, по сути, это клоакинг?
Зарегистрированный пользователь - это уже фактически приватный персонализированный режим.
Поисковые системы получают информацию сайта в гостевом режиме, поэтому клоакингом это считаться не будет.
Какое содержание выводится по на этих страниц? Или просто дубли каких-то страниц? Если просто дубли, то каких именно страниц?
По какому запросу? Какая внутрянка (какая именно страница)?
Здесь уж всё по обстоятельствам. Если для сайта ресурсные мощности используются далеко не все, на VPS просто уговорил знакомый IT-шник, а TC в панель управления заходит только для того, чтобы сделать очередной платеж (путая с биллингом), то как нередко это бывает никакие персональные по VPS настройки и не используются, а текущие надобности вполне может покрывать виртуальный хостинг.
Попробуйте ещё такое решение. Напишите хостингу, что к сожалению, не имеете финансовой возможности оплачивать полную стоимость, пусть они поищут для вас варианты других тарифов с сохранением функциональности сайта. Клиентов терять сейчас никто не намерен, все будут искать возможности как ужаться и по ресурсным возможностям, и по ценам.
Ужиматься. Уходить на меньший тариф, возможно сменить VPS на виртуальный SDD хостинг.
Заниматься изысканием внутренних резервов.
Скорее всего просто задачу свою выполнили.
Нагул нередко выполняют и для бурж прокси в том числе.
Вероятнее всего - нагул профилей.
Это повсеместно.
