Все вопросы по robots.txt

B4
На сайте с 27.04.2012
Offline
94
#241
Hoakin2506:
Здравствуйте! Вопрос в следующем, в силу особенностей CMS, есть такие адреса:
http://site/cat1/item1/
и
http://site/cat1/item1/review
Это дубли, исходя из особенностей вёрстки меню, было решено закрыть от индексации страницы типо
http://site/cat1/item1/
делаю я это так в файле robots.txt:
Disallow: /cat1/item1/
Вся проблема в том, что закрывается от индексации и страница - http://site/cat1/item1/review, которую наоборот было решено оставить и другие вложенные категории после адреса http://site/cat1/item1/.
Не пойму, как закрыть именно эту одну страницу. Подскажите, где копать. Вроде покопался в возможных командах файла роботс, но там ничего не нашёл

User-agent: *

Disallow: /cat1/item1/$

Allow: /cat1/item1/review

($ - конец строки)

(allow на всякий случай)

A8
На сайте с 03.09.2013
Offline
34
#242

Подскажите, как запретить к индексации все файлы кроме одного....

A8
На сайте с 03.09.2013
Offline
34
#243
andreybahtin82:
Подскажите, как запретить к индексации все файлы кроме одного....

нашел

User-agent: *

Disallow: /docs/

kimberlit
На сайте с 13.03.2007
Offline
370
#244
andreybahtin82:
Подскажите, как запретить к индексации все файлы кроме одного....
andreybahtin82:
нашел
User-agent: *
Disallow: /docs/

И что ты нашёл то? Ерунда.

B4
На сайте с 27.04.2012
Offline
94
#245
andreybahtin82:
Подскажите, как запретить к индексации все файлы кроме одного....

User-agent: *

Disallow: /

Allow: *vash_file

E
На сайте с 21.09.2009
Offline
283
#246
andreybahtin82:
как запретить к индексации все файлы кроме одного

Для какой ПС?

---------- Добавлено 10.11.2014 в 22:44 ----------

bulatbulat48:
User-agent: *
Disallow: /
Allow: *vash_file

будет работать если поменять строчки местами.

B4
На сайте с 27.04.2012
Offline
94
#247
easywind:
Для какой ПС?

---------- Добавлено 10.11.2014 в 22:44 ----------


будет работать если поменять строчки местами.

Мнения Яндекса и Гугла в данном вопросе по robots.txt сходятся 😂 Если конечно не под байду раскручиваете))

Помню раньше была разница, когда еще толком Allow не работала - сейчас нет. Данные строки будут работать как Я так и в Гугле

из хелпа:

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Таким образом порядок следования директив в файле robots.txt не влияет на использование их роботом

A1
На сайте с 12.02.2013
Offline
58
#248

Есть урл типа index.php?page=1&type=benzin

Надо запретить все страницы для индексации, где type=benzin

Как это сделать?

Пока есть такой вариант: Disallow: *type=benzin*

Правильно ли составил?

B4
На сайте с 27.04.2012
Offline
94
#249
acril1994:
Есть урл типа index.php?page=1&type=benzin

Надо запретить все страницы для индексации, где type=benzin
Как это сделать?

Пока есть такой вариант: Disallow: *type=benzin*
Правильно ли составил?

да, звездочка поставится автоматом, поэтому можно просто Disallow: *type=benzin

xakep1
На сайте с 30.12.2012
Offline
58
#250

Почему Яндекс не индексирует страницы вида site.ru/lechenie-alkogolizma/алкоголизм-и-дипсомания/ при таком файле robots.txt:

User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /share42/

Disallow: /wm/

Disallow: /404/

Disallow: /component/

P.S. для Гугла такая же установка стоит и все ок, страницы такого вида в индексе Гугла. Помогите, пожалуйста, разобраться в чем причина?!

Ссылка http://www.alkonarkostop.com.ua/

Эскорт в Израиле (https://israel-escorts.com)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий