Все вопросы по robots.txt

A
На сайте с 05.04.2007
Offline
75
#61

Здравствуйте,

Правильно ли я понимаю, что директива

Disallow: */index.php

запрещает к индексации только файл index.php

а:

Disallow: /*index.php$

все урлы оканчивающиеся на index.php?

N
На сайте с 17.06.2013
Offline
12
#62

Disallow: /*?*

Любимый цвет: зелёный
Chained
На сайте с 10.01.2013
Offline
92
#63

ebitok, лень гуглить, спроси на серче.

Чтобы заблокировать доступ ко всем URL, которые содержат вопросительный знак (?) (то есть всех URL-адресов, которые начинаются с имени домена и содержат вопросительный знак), добавьте в файл robots.txt следующую запись:
User-agent: Googlebot
Disallow: /*?

https://support.google.com/webmasters/answer/156449

Alexeych, а что запретить-то надо?

A
На сайте с 05.04.2007
Offline
75
#64

Прошу прощения вопросительный знак не относится к директиве))

Мне google не хочет индексировать раздел статей урл заканчивается на index.php

например: мой сайт/articles/index.php

как я понимаю из за директивы Disallow: /*index.php$

Но в robots.txt есть еще директива Disallow: */index.php

Она (как я предполагаю) запрещает индексировать индексный файл в корне сайта.

Вот это Disallow: /*index.php$ я удалил будут ли индексироваться статьи?

Гугл обещает сделать проверку robots.txt только через два дня, а я хочу сейчас знать)))

Chained
На сайте с 10.01.2013
Offline
92
#65
Alexeych:
Но в robots.txt есть еще директива Disallow: */index.php
Она (как я предполагаю) запрещает индексировать индексный файл в корне сайта.

Не только. Она так же запрещает ваши статьи к индексации.

A
На сайте с 05.04.2007
Offline
75
#66
Chained:
Не только. Она так же запрещает ваши статьи к индексации.

А как же запретить к индексации только индексный файл?

Chained
На сайте с 10.01.2013
Offline
92
#67

Alexeych,

Disallow: /index.php$

A
На сайте с 05.04.2007
Offline
75
#68

Вот из инструкции Google:

Чтобы задать соответствие конечных символов URL-адреса, используйте символ $. Например, чтобы заблокировать доступ к URL, оканчивающемуся на .xls, используйте следующие строки:
User-agent: Googlebot
Disallow: /*.xls$

Помоему все наоборот?!

---------- Добавлено 27.01.2014 в 18:49 ----------

или это со звездой?

Chained
На сайте с 10.01.2013
Offline
92
#69

Alexeych, ничего не наоборот. Перечитвайте инструкцию гугла пока не снизойдет озарение.

A
На сайте с 05.04.2007
Offline
75
#70
Chained:
Alexeych, ничего не наоборот. Перечитвайте инструкцию гугла пока не снизойдет озарение.

🤪 Спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий