Все вопросы по robots.txt

Под категорию нужно 10 статей «заточить», под страницу одну. Вот и вся конкуренция. Ну и да, 10 статей — 10 ключей, а это 1 категория.

А мне так никто и не подскажет? :(

Зачем дублировать директивы трижды,

Там и не было запрета на индексацию css файла, хотя она и не нужна.

Оставьте просто вот это, а все остальное удалите

Большое спасибо!! Попробую так и сделать.

Подскажите какие адреса не будут индексироваться при такой записе в роботсе:

Disallow: /*top*search*

Ребят, такая проблемма. Решил закрыть дубли страниц в роботсе, но столкнулся с непонятной для меня проблеммой.

Допустим закрываю я вот такую ссылку:

Disallow: /portfolio.php?work=225&s=1

Проверяю её через "посмотреть как гуглбот" он пишет что она закрыта, всё ОК.

Но! если проверить /portfolio.php?work=225&s=1&ss=3 то она тоже закрыта, и при проверке роботс ссылается на Disallow: /portfolio.php?work=225&s=1

Получается я одним запретом закрыл обе страницы дубля а не одну, как быть в такой ситуации, почему гуглбот не учитывает точное вхождение ссылки?

Вот роботс на васякий случай - bandesign.ru/robots.txt

На сколько я понял, Вы хотите закрыть все дубли, которые включают в себя определенный символ или символы? обычно дубли включают в себя символы ?,%,& и др.

Поставьте в роботсе:

Disallow: /index.php?

Disallow: /*?

Disallow: /*%

Disallow: /*&

Disallow: /index2.php

Disallow: /index.php

Disallow: /*tag

Пошел по пути запрещения ссылок с динной "бородой", то есть для примера запрещаю к регистрации /portfolio.php?work=104&s=1&ss=1 но при проверке sitemap.xml он говорит что запрещен урл /portfolio.php?work=104&s=1

То есть он их видимо считает одинаковыми ссылками.

Скорее всего директива Disallow: /*&ss= тут будет не уместна, результат будет такой же или нет?

И это может угрохать половину сайта, так как есть несколько "общих" страниц в урл которых входит *&ss=

Подскажите можно ли прописать сначала Disallow: /*&ss= а после Allow: /с перечислением нужных для регистрации урлов?

То есть:

Disallow: /*&ss=

Allow: /portfolio.php?s=1&ss=6 - эти страницы как правило без слова work в урле, и их не больше 10.

Практикуется ли такое?

На данный момент закрыты вручную урлы с "бородой". Залил роботс, залил новый сайтмап.xml, гугл консоль пишет 37 предупреждений о том что ссылки типа /portfolio.php?work=104&s=1 (то есть без бороды с &ss= ) заблокированы в роботс.тхт

Далее иду в Инструмент проверки файла роботс где ввожу portfolio.php?work=104&s=1 на который он ругался, но пишет Доступен, а если проверить portfolio.php?work=104&s=1&ss=1 (с бородой ss), то он Заблокирован.

Далее захожу в Посмотреть как гуглбот ввожу ту же ссылку и нажимаю на Сканирование, пишет Готово, после чего жму для той же ссылки Получить и отобразить, пишет Частично выполнено.

После этих манипуляций я не очень понимаю противоречий самой гугл консоли, то она пишет 37 ошибок, но при проверке они проходят, а ссылка которую запретил в роботс, соответственно запрещена. Где логика?

Доброго дня!

Подскажите плиз, строка в роботс.тхт:

Disallow: /go/

запрещает для индексации все ссылки на сайте или только исходящие на внешние сайты? имеется ввиду внутренняя перелинковка теряет смысл для ПС с этой строкой?

Можно ли задать шаблонно Disallow для всех ссылкок с ss, но потом несколько конкретных поставить в Allow?