Есть ли различия при составлении robots.txt для Яндекса и Гугла?

611

Str256

13 ноября 2008, 06:31

505

В одной смс одну страницу можно видеть по нескольким адресам и некоторые из них уже попали в индекс. Я хочу их запретить для Яндекса и Гугла.

Вот составил такой роботс (выдержка из него):

Disallow: /nnnnnn/?

Disallow: /mmmm/vvvvv/?

То есть мне надо, чтобы те страницы, адреса которых например начинается со знака вопроса не индексировались, а родительские разделы индексировались нормально. Проверил в Гугл веб-мастер - всё отлично, запрещено то что нужно.

А в Яндексе - непонятно. Пишет, что секции валидны. Но мне то надо, чтобы разделы

nnnnnn

mmmm

vvvvv

индексировались нормально. А из ответа Яндекса - это не ясно. Кто-что думает по этому поводу?

Не надо приписывать мне свои выводы, я имею ввиду только то, что написал. Лучшая партнёрка по футболкам/толстовкам (http://partnerka.kolorado.ru/?ref=1921540) Опрос: Проверить текст на уник - как? (/ru/forum/495885)

193

nik_kent

13 ноября 2008, 06:44

#1

Если нужно запретить страницы со знаком вопроса, то можно попробовать написать так:

Disallow: *?*

или Disallow: /*?* (разницы по-моему нет)

С уважением, Николай.

42

Yeugeny

13 ноября 2008, 06:57

#2

Str256:
В одной смс одну страницу можно видеть по нескольким адресам и некоторые из них уже попали в индекс. Я хочу их запретить для Яндекса и Гугла.

Вот составил такой роботс (выдержка из него):
Disallow: /nnnnnn/?
Disallow: /mmmm/vvvvv/?

То есть мне надо, чтобы те страницы, адреса которых например начинается со знака вопроса не индексировались, а родительские разделы индексировались нормально. Проверил в Гугл веб-мастер - всё отлично, запрещено то что нужно.
А в Яндексе - непонятно. Пишет, что секции валидны. Но мне то надо, чтобы разделы
nnnnnn
mmmm
vvvvv
индексировались нормально. А из ответа Яндекса - это не ясно. Кто-что думает по этому поводу?

А при подстановке в строку проверки УРЛ /mmmm/vvvvv/? что пишет? Если роботс правильный (т.е. этот УРЛ действительно запрещен) - должен написать, что запрещено в роботс и указать номер строки.

Добавлено: Проверил. При подстановке УРЛ (если данный УРЛ запрещён в роботсе) пишет следущее:

Результаты проверки URL
URL Pезультат
http://www.ххх.ru/yyy_htm запрещен правилом /yyy.htm

Для проверки нужно вписать полный путь к проверяемой странице (с http).

S2

611

Str256

13 ноября 2008, 07:13

#3

Yeugeny:
А при подстановке в строку проверки УРЛ /mmmm/vvvvv/? что пишет? Если роботс правильный (т.е. этот УРЛ действительно запрещен) - должен написать, что запрещено в роботс и указать номер строки.

Точно. Спасибо. Из-за того, что я встал в 5-ь утра и 3-и часа возился с принтером меня переклинило. Забыл, что есть поле для проверки Урл.

Всё в порядке. Тему можно закрывать.

P.S. Остановился на варианте: Disallow: /*/?

Зачем быть уникальным в мире, где все можно скопировать

Google: E-E-A-T не является фактором ранжирования