/robots.txt глазами Яндекса

123 4
[Удален]
#11
T.R.O.N:
для начала, они и небыли никогда безусловными.

Инструкция Disallow в роботсе всегда была и есть безусловная, а не рекомендательная. Тоже самое касательно <meta name="ROBOTS" content="NOINDEX>. А тег <noidex> придуман для расширения функциональности, когда есть необходимость запретить к индексации только часть страницы, а не всю её целиком.

Елистратов
На сайте с 21.04.2007
Offline
229
#12

T.R.O.N, здесь вы не правы. jorevo, правильно сказал:

jorevo:
Инструкция Disallow в роботсе всегда была и есть безусловная, а не рекомендательная. Тоже самое касательно <meta name="ROBOTS" content="NOINDEX>. А тег <noidex> придуман для расширения функциональности, когда есть необходимость запретить к индексации только часть страницы, а не всю её целиком.
C уважением, Евгений. Покупаю аккаунты AdSense ()
T.R.O.N
На сайте с 18.05.2004
Offline
314
#13

jorevo, неужели Вы и вправду верите в то, что соглашения RFC - это законы?

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
[Удален]
#14
T.R.O.N:
jorevo, неужели Вы и вправду верите в то, что соглашения RFC - это законы?

Касаемо различных сортов НОУИНДЕКСА - да!

upyrj
На сайте с 17.09.2005
Offline
140
#15

1. Как будто, обычно люди пишут именно в таком порядке:

User-agent: *

Disallow: /index.php?productID=1
Disallow: /index.php?productID=11
Disallow: /index.php?productID=19
Host: vasyapupkin.ru
Не знаю, насколько это обязательно. Просто лишний раз экспериментировать не стал бы. Как минимум, Host до зоны User-agent — это нечто не очень стандартное. 8)

2. Не пробовал ли кто-нибудь такое?:

User-agent: *

Disallow: /index.php?productID=1
Disallow: /index.php?productID=11
Disallow: /index.php?productID=19
Allow: /index.php?productID=15
Host: vasyapupkin.ru

Сейчас попробовал добавить разрешенную таким образом страницу — вроде аддурилка не выругалась. Не уверен, что это поможет, но можно попробовать. 8/

Денис Иванов Важно: обменом валют я не занимаюсь.
Ctulhu
На сайте с 21.05.2005
Offline
222
#16
upyrj:
Не пробовал ли кто-нибудь такое?:

Allow - директива Гугла. Как и Host - Яндекса. Не смешивайте их в одной секции.

T.R.O.N:
Планирование сайта - наука.

Именно поэтому проще переименовать

/index.php?productID=1

в

/index.php?productID=01

или использовать Meta-тег

upyrj
На сайте с 17.09.2005
Offline
140
#17
Ctulhu:
Allow - директива Гугла. Как и Host - Яндекса. Не смешивайте их в одной секции.

Ясно, спасибо. То есть, видимо, я попортил ею свой роботс, потому аддурилка и не ругалась.

K
На сайте с 31.01.2001
Offline
737
#18
T.R.O.N:
вправду верите в то, что соглашения RFC - это законы?

Я верить не должен.

meta name="robots" content="noindex" - проверено, работает у всех, это элементарно. Не соблюдают только специальные отморозки типа скачивалок сайтов или проверяльщиков позиций в поисковиках. Роботы поисковиков - соблюдают.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
FlyAway
На сайте с 01.06.2005
Offline
439
#19

и юзерагент писать там где хост:

User-agent: Yandex

Сердюченко Андрей (http://www.serdyuchenko.ru/) Масонская ложа — SЕ-Team.ru (http://goo.gl/YIjV6h) :)
Y
На сайте с 12.09.2006
Offline
18
#20

как насет такого врианта?

User-agent: *

Disallow: /index.php?productID=1$

Disallow: /index.php?productID=11$

Disallow: /index.php?productID=19$

Host: vasyapupkin.ru

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий