Все вопросы по robots.txt

mssqwesto
На сайте с 24.03.2011
Offline
125
#21
kbv79:

Если только страницы компаний, и атрибута ?name= больше нигде нет, то все правильно:
Disallow: *?name=
(все что после *?name= по умолчанию не индексируется).

Да правильно и так будет, привык к регуляркам просто.

aship
На сайте с 20.10.2007
Offline
83
#22
mssqwesto:
правильно будет
Disallow: *?name=*
а, если нет для индексирования страниц с "?" то можно и
Disallow: *?*

Это - более неправильный вариант, чем указал топикстартер.

Звездочка в robots.txt в конце строки не ставится.

Равно, как и неправильно запрещать голый знак вопроса.

Это не значащий символ URI, а разделитель и в некоторых реализациях движков результаты будут непредсказуемы.

Семинары За что Яндекс наказывает сайты, работа с ТИЦ, бюджетное продвижение сайтов (http://gurutalk.ru)... По фотографии не лечу.
G-and-Y
На сайте с 29.06.2013
Offline
156
#23
Психиатр:
А так разве не проще?

Disallow: /*1.html

спс 10 символов

Абузо-устойчивые впс в Нидерландах от 5$/мес (https://cp.inferno.name/aff.php?aff=2991)
богоносец
На сайте с 30.01.2007
Offline
753
#24
kbv79:

Я по умолчанию прописываю в robots:
Disallow: /*?*
Потому что ЧПУ.
Если только страницы компаний, и атрибута ?name= больше нигде нет, то все правильно:
Disallow: *?name=

Объясните различия между

Disallow: /*?*

Disallow: *?

И ещё можете по умолчанию прописывать

Disallow: *//

поскольку большинство серваков такие

///showthread.php?p=12455420#post12455420

A2
На сайте с 11.02.2012
Offline
20
#25

всем ку, кароче нид сделать так закрыть все страницы сайта но при это разрешить несколько страниц и разрешить главную, вообщем сделал роботс, но как разрешить главную не знаю:

User-agent: *

Disallow: /

Allow: /страница1

Allow: /страница2

Allow: /страница3

Allow: /страницаN

В этом случае указанные внутряки разрешатся, но главная не разрешится, что делать?

A2
На сайте с 11.02.2012
Offline
20
#26

всем привет, нужно сделать следующее, закрыть все страницы сайта, но при этом разрешить несколько страниц и разрешить главную, во общем сделал роботс, но как разрешить главную не знаю:

User-agent: *

Disallow: /

Allow: /страница1

Allow: /страница2

Allow: /страница3

Allow: /страницаN

В этом случае указанные внутряки разрешатся, но главная не разрешится, что делать?

kaskentbobel
На сайте с 24.09.2012
Offline
171
#27

Попробуйте ко всему вышеперечисленному добавить Allow: /index.html (или .htm или .php - не знаю как у вас реализовано)

ZoomY
На сайте с 07.11.2008
Offline
165
#28

kaskentbobel, зачем советовать, если не разбираетесь? Человек наплодит дублей и заморочается со внутренней перелинковкой, чтобы ссылки вели на index.htm, а не на /. Про внешние ссылки я вообще молчу.

Реализуется элементарно:

Disallow: /
Allow: /$

Символ $ даёт точное соответствие. В итоге / будет индексироваться, а /page.htm - не будет.

Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$ (/ru/forum/846111) Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: (http://ukrnames.com/?ref_id=114) и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.
A2
На сайте с 11.02.2012
Offline
20
#29
ZoomY:

Реализуется элементарно:
Disallow: /

Allow: /$

Супер! :)

10 символов

S
На сайте с 18.09.2009
Offline
222
#30

всем привет) как правильно избаиться от дублей в Джумла 2.5. Виртуе март 2.0.? Так:

Disallow: /*?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий