Все вопросы по robots.txt

Без редиректа. Google рекомендует оставить две версии доступными.

Только заголовок HSTS preload.

Добрый день, не были настроены параметры robots.txt для яндекса 2 года, только для гугла был и выглядел он так:

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /womens-clothing

Disallow: /womens-clothing/424-hip-pants-10

Disallow: /j2-cart

Disallow: /component/

Disallow: /*order_type

Disallow: /*?start=*

Добавил такое же и для Яндекса, апдейта еще не было и я волнуюсь что позиции ухудшатся из за выпада многих страниц из индекса, на данный момент(как бы это не казалось вам странным), сайт держит топ по своим тематикам.

Подскажите, возможно ли ухудшение из-за этого?

ЗЫ: каталог лежит в дерективе /shop и не закрыт, закрыты только страницы пагинации

Они признаны яндексом зеркалами?

При переходе на морду шлет на "Location: /?page_id=177" через 307. Избегайте использования временных редиректов типа 307. Поставьте человеческий 301. Временный редирект подразумевает, что старый сайт вполне можно оставить в индексе.

---------- Добавлено 18.10.2016 в 17:39 ----------

Со временем выпадет

А как это можно определить без знания домена? Проверяйте сами. https://webmaster.yandex.ru/tools/robotstxt/

Вставляйте подопытные URL и сверяйте ожидаемое с действительным.

Нет однозначного ответа. Как по мне в этом нет ничего плохого, если пагинация настроена верно. Установлены prev и next, стоит каноникал, уникализированы заголовки. Некоторые оптимизаторы просто закрывают всю пагинацию к чертям и подкрепляют свою точку зрения наличием правильно sitemap.xml

Ссылки по теме пагинации

http://seoprofy.ua/blog/optimizaciya-sajtov/pagination-for-seo

А вот доводы в сторону отказа от пагинации.

http://convertmonster.ru/blog/seo-blog/seo-paginacija-kak-postranichnaja-navigacija-vredit-seo/ Однако забавно, что у них же на блоге сделано ровно наоборот и пагинация вполне нормально индексируется.

Каким образом в robots.txt запретить индексирование ссылок на комментарии модуля Komento, которые я расставил под вступлением всех статей? Эти все ссылки оканчиваются одинаково, вот таким образом: #section-kmt

shullga для ответа на вопрос нужно знать пример URLа комментария. Приведите пример, доменное имя замените на что-либо.

Очень приятно удивлен оперативности обратной связи Яндекса.

Отправил я сегодня вопрос в поддержку Яндекса, цитирую:

> Старый адрес сайта: ***.com

> Новый адрес сайта: https://***.com

>

> Здравствуйте.

>

> Я прописал в директиве Host название сайта с указанием протокола, но в уведомлениях получаю ошибку:

> В директиве Host указан домен, где аналогичные указания в файле robots.txt отсутствуют. Чтобы указания директивы Host были учтены, идентичные директивы должны присутствовать в файлах robots.txt всех зеркал сайта.

> Я проверил валидность файла robots.txt - без ошибок, но проблема не пропадает из уведомлений - "Проблема актуальна

> Проблема известна с 12.10.2016

> Проверено: 17.10.2016"

>

> Подскажите, как мне нужно отредактировать robots.txt и заменяет ли директиву Host пункт "настройка индексирования - переезд сайта"? То-есть, могу ли я убрать ее вообще, если указал главное зеркало в панели вебмастера?

Ответили за 1 час (был очень приятно удивлен, когда обращался в последний раз пару лет назад - отвечали через 2 недели)

Здравствуйте, Артур!

Спасибо, что сообщили нам о ситуации с предупреждениями для сайтов в Яндекс.Вебмастере. Мы проверим, по каким причинам данные предупреждения отображаются несмотря на корректные указания.

Между тем, все необходимое для склейки сайтов в группу зеркал и признания https://***.com было сделано. В течение нескольких недель робот отследит изменения и склеит сайты согласно заданным указаниям.

Нет, инструмент "Переезд сайта" не заменяет директиву Host. Данный инструмент позволяет сообщить роботу, что необходимо совершить проверку на возможность склейки сайтов. Тем не менее, для корректного выбора главного зеркала необходимо, чтобы сайты содержали явные указания на желаемое главное зеркало, поэтому директиву Host удалять не следует.

За последний год я не сталкивался с долгими ответами от Яндекса. Поддержку они наконец то организовали

Подскажите как правильно закрыть странички с такими адресами:

domen.ru/towarN/reviews/ ( товары разные).

Это странички для отзывов, которые пока не заполнены.

Как в robots.txt убрать результаты поиска сайта, что нужно прописать?

Урл идет такого плана http://domain.ru/?s=фраза

Запретить индексирование по маске domain.ru/?s