Форум Поисковые системы Яндекс

/robots.txt глазами Яндекса

123 4
C
На сайте с 05.02.2007
Offline
8
combat
3005

Как известно у яндекса есть сервис "/robots.txt глазами Яндекса" http://www.yandex.ru/cgi-bin/test-robots

У меня возникла необходимость закрыть для индексации определённые страницы. Страницы динамические то есть ссылки выглядят следующим образом http://vasyapupkin.ru/index.php?productID=1 и по нарастающей.

Создал файл robots.txt Создал в нём следующую запись:

Host: vasyapupkin.ru

User-agent: *

Disallow: /index.php?productID=1

Disallow: /index.php?productID=11

Disallow: /index.php?productID=19

Проверяю на сервисе "/robots.txt глазами Яндекса"

Запрещена индексация всех URL, начинающихся с указанных префиксов:

/index.php?productID=1

Вопрос в следующем мне требуется чтобы страницы http://vasyapupkin.ru/index.php?productID=15 была разрешена для индексации, но она содержит префикс "index.php?productID=1". Как быть ?

Оптимизаторы ! Поможем человеку (/ru/forum/118298)
F
На сайте с 24.08.2006
Offline
35
flashtown
#1

http://robotstxt.org.ru/

C
На сайте с 05.02.2007
Offline
8
combat
#2
flashtown:
http://robotstxt.org.ru/

На этот вопрос ответа на данном интернет ресурсе нет. Поэтому и спрашиваю здесь!

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#3

combat,

неужели так тяжело или почитать как нужно или посмотреть у других. Детский сад

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#4
combat:
На этот вопрос ответа на данном интернет ресурсе нет. Поэтому и спрашиваю здесь!

Планирование сайта - наука. Вы попали в ту ситуацию, когда реализация и задачи конфликтуют. Здесь роботс не поможет (тем более в приведенном виде)

C
На сайте с 05.02.2007
Offline
8
combat
#5
T.R.O.N:

неужели так тяжело или почитать как нужно или посмотреть у других. Детский сад

Дай пожалуйста ссылку на сайт у которого реализовано то что я описывал. Или ссылку на материал описывающий решение данной проблемы. У большинства описаны либо статичные страницы, либо каталоги а с динамическими страницами подобного материала не встречал.

S
На сайте с 28.10.2005
Offline
319
semenov
#6

Может страницу /index.php?productID=1 запретить метой?

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#7

combat,

Вы читаете между строк...

Я же сказал, что Вы попали на грабли всех тех, кто не хотел планировать сайт до его разработки. Сейчас, как я вижу, путь один - перейти на псевдостатику(предварительно все обдумав), и запретить папки.

semenov, С каких пор яша стал понимать меты.

Он и робтс то рассматривает не как ПРАВИЛО, а как РЕКОМЕНДАЦИИ.

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
simple
На сайте с 17.04.2006
Offline
21
simple
#8

Советую юзер-агента писать перед директивами хост и disallow, потому как это обращение к роботу, а все остальное - указания. Странно писать указания перед обращением

[Удален]
#9
T.R.O.N:
С каких пор яша стал понимать меты.
Он и робтс то рассматривает не как ПРАВИЛО, а как РЕКОМЕНДАЦИИ.

Месьё бредит? С каких это пор конструкция <meta name="ROBOTS" content="NOINDEX> и инструкции роботса запрещающие индексацию перестали быть безусловными?

T.R.O.N
На сайте с 18.05.2004
Offline
314
T.R.O.N
#10
jorevo:
запрещающие индексацию перестали быть безусловными?

для начала, они и небыли никогда безусловными.

Это, еще раз повторю, рекомендации роботу.

Яша, надеюсь пока, коректно понимает тольок свой NOINDEX.

123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий