Все вопросы по robots.txt - 2

Как закрыть от индексации в роботсе страницы оканчивающиеся на вопросительный знак?

Пример:

/nazvanie.html?

Господа, сделал интернет магазин неделю от роду)))

Есть чувство что лишнего прописал, подскажите новичку в этом деле)

Особенно интересует строка Disallow: /category/*/*

Это получается запрет на категории товаров, но они(товары) же должны индексироваться? Скопировал с инета эти настройки

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: */comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */*/trackback

Disallow: */*/feed/*/

Disallow: */feed

Disallow: /*?*

Disallow: /?s=

Host: https://keksik.top

Sitemap: https://keksik.top/sitemap.xml

День добрый.

То, что копируем не всегда есть безупречно.

Чтоб ответить на Ваш вопрос "/category/*/*" необходимо иметь перед собой и FTP доступ, чтоб понимать что еще в папке /category

Ну и конечно же, если Вам интересен поисковик Yzndex, то он отказался от дерективы "Host:"

https://yandex.ru/blog/platon/301-y-redirekt-polnostyu-zamenil-direktivu-host

https://yandex.ru/blog/platon/pereezd-sayta-posle-otkaza-ot-direktivy-host

Учитывайте особенности поисковиков при составлении robots.txt

https://www.keksik.top/index/ и с /index сделайте 301 код на главный домен

Здравствуйте, если закрыть

/category/

будет ли закрыть

/category/new/ ?

Привет.

По мнению Яндекса, правило

Disallow: /*__or__*

не запрещает индексацию

site-address.zone/filter/321/ossiya_121__or__germaniya_122?custom_f_4[0]=d0a3d

а также

Disallow: /*custom_f_4%5B1%5D*

не запрещает

site-address.zone/filter/amortizatory/?custom_f_4[0]=d0a3d090d0&custom_f_4[1]=4a65

почему?

Disallow: /*__or__*

Disallow: /*custom_f_4%5B1%5D*

Disallow: /*__or__

- запретит, все верно у вас

Disallow: /*custom_f_4[0]

- не нужно писать правила в urlencode

- не обязательно ставить * в конец правила, поисковые системы сами подставляют

---------- Добавлено 18.07.2018 в 15:26 ----------

будет, т.к нет в конце знака окончания символов $, то здездочка будет проставлена автматически

Прочитала такую инфу, что файл robots.txt заблокировал возможность

Как снять запрет на индексацию сайта в поисковиках? Такое еще может быть?

может быть: robots.txt в студию или ищите директивы:

Disallow: /

Здравствуйте. Сделали аудит сайта на вкорк, в отчетё (1. На сайте есть robots.txt, но он практически не настроен. Нужно обязательно внести в него правильные настройки. Сейчас он практически пустой, а это очень плохо в плане правильной индексации сайта и поискового ранжирования. ) Подскажите, что можно дополнить в robots.txt ? сайт l - c . b y

P.S. CMS S3.megagroup.

можно закрыть сайт или заданную страницу от индексации с помощь мета-тега robots.