Все вопросы по robots.txt

Я даже этого не пишу.

На сайте работает сортировка товаров и страница сортировки имеет следующий вид:

http://site.ru/name-category/@sl/40

http://site.ru/name-category/%40sl

Можно ли в robots.txt закрыть эти страницы парой строк или придется прописывать каждую категорию?

User-agent: *

Disallow: /cgi-bin

Disallow: /?

Disallow: /wp-

Disallow: *?s=

Disallow: *&s=

Disallow: /search

Disallow: /author/

Disallow: *?attachment_id=

Disallow: */trackback

Disallow: */feed

Disallow: */embed

Disallow: */page/

Allow: */uploads

Allow: /*/*.js

Allow: /*/*.css

Allow: /wp-*.png

Allow: /wp-*.jpg

Allow: /wp-*.jpeg

Allow: /wp-*.gif

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /comments

Disallow: */trackback

Disallow: */embed

Disallow: */feed

Disallow: /cgi-bin

Disallow: *?s=

Насколько правилен этот robots.txt?

Добавил в индекс свой первый сайт

В яндексе:

Загруженные страницы: 77;

Страницы в поиске: 7;

Исключённые страницы: 2.

В гугле проиндексировало 4 странницы и написало что robots.txt блокирует 46 файлов.

подскажите пожалуйста, на сайте есть "поиск по сайту" и все что ищут посетители попадает в выдачу вида:

site,ru/?s=розовые слоны

что прописать в роботс

disallow: /?s

или

disallow: /search

или еще как-то?

Так. Либо так:

Clean-param: s

Вместо

Disallow: */feed

По идее правильнее

Disallow: /*/feed

И остальное по аналогии. Чтобы со слеша от корня начиналось.

---------- Добавлено 15.12.2016 в 18:57 ----------

Можно -

Disallow: /*/@sl/40

Disallow: /*/%40sl

А если при переходе на SSL сертификат, в робот вносить изменения, плана

Sitemap: httpS://site.ru/sitemap.xml или оставить Sitemap: http://site.ru/sitemap.xml как и было?

А то я чёт там в роботсе намудрил что робот не хочет смотреть даже на сайт(

Доброго вечера!

Такая структура сайта, что нужно закрыть третий уровень слэша, если второй может меняться:

/article/???/page/

, где ??? - это страница и их может быть 1000

вопрос, что поставить вместо "???", чтобы эта страница была проиндексирована, а дальше с /page/ не индексировалось?

Подскажите как грамотно закрыть от индексации в robots.txt страницы с подставленной utm меткой?

Яндекс начал загружать страницы с адресом: site.ru/catalog/dvigateli?utm_source=yandex&utm_medium=cpc&utm_campaign={campaign_id}&utm_content={ad_id}&utm_term={keyword}

---------- Добавлено 24.12.2016 в 01:46 ----------

Что посоветуете сделать: в Я.Вебмастер обнаружил много страниц с 301 редиректом, который ведет на 404 ошибку. Что делать с этими страницами?

Нужно ли в данной ситуации закрывать 404 в robots.txt от индексации?

подскажите, в чем может быть проблема!

сайт на битриксе - интернет магазин. настраиваю robots.txt проблема в вебмастере убирается, но sitemap пока нет. проходит 5-7 дней - файл robots.txt не отображается, хотя есть в корне сайта. что смотреть ?