robotst.txt для zend framework

12
S
На сайте с 25.01.2010
Offline
41
1132

Здравствуйте уважаемые форумчане!

Есть личный проект на zend framework. Возник вопрос по удалению некоторых страниц из индексации (дублей).

Во-первых страницы типа мойсайт.ру/catalog/view/106/?cid=0

гугл умный, он страницы с ?cid=0 сам блокирует по групповому признаку, а вот яндекс не дошел еще до этого.

По какому признаку убрать в роботсе страницы с ?cid=0 ?

Также интересует вопрос по страницам, которые характеризуют источник захода с соц. сетей типа:

мойсайт.ру/review/486/#.UTL43I4WOrI.facebook

По какому признаку и каким образом можно удалить из индекса эти страницы? Опять же, гугл их игнорирует, яндекс индексирует и бросает в выдачу.

На сайте яндекса нашел конечно объяснения по второму варианту, но применить по признаку в своём варианте не смог. Кто сможет помочь, искать источник по разделу Директива Clean-param, или был опыт в прошлом.

Может вы поймете как использовать эту функцию в моём случае.

Спасибо огромное за помощь.

Дмитрий Удимов
На сайте с 05.05.2010
Offline
274
#1

Disallow: *?cid=0

Disallow: *.facebook*

Топвизор — аккредитованный регистратор доменов .ru и .рф (https://topvisor.com/ru/domain-registration/) — честная цена 299 руб. за регистрацию и продление.
S
На сайте с 25.01.2010
Offline
41
#2
Ditmar:
Disallow: *?cid=0
Disallow: *.facebook*

Disallow: *?cid=0 - подошло.

Второе нет, всё-таки ко второму надо использовать раздел, который я указал, но применить его не могу.

review/486/#.UTL43I4WOrI.facebook - разрешен.

kimberlit
На сайте с 13.03.2007
Offline
370
#3

А с # индексируются?

S
На сайте с 25.01.2010
Offline
41
#4
kimberlit:
А с # индексируются?

Да, индексируется только в яндексе. Это из-за соц кнопок, сделано чтобы определять источник захода, хотя я изначально этого не планировал, но такого рода ссылки попадают в выдачу яндекса как полноценные. Не могу толком сформулировать в роботсе директиву клиа делей.

kimberlit
На сайте с 13.03.2007
Offline
370
#5
smpastushok:
Не могу толком сформулировать в роботсе директиву клиа делей

А она тут каким боком?

S
На сайте с 25.01.2010
Offline
41
#6
kimberlit:
А она тут каким боком?

Пардон, Clean-param

kimberlit
На сайте с 13.03.2007
Offline
370
#7
smpastushok:
Пардон, Clean-param

А где у тебя тут параметры во втором урл?

S
На сайте с 25.01.2010
Offline
41
#8
kimberlit:
А где у тебя тут параметры во втором урл?

Смотри. По яндексу

параметр 'ref=' используется только для того, чтобы отследить с какого ресурса был сделан запрос и не меняет содержимое, по всем трем адресам будет показана одна и та же страница с книгой 'book_id=123'. Тогда, если в robots.txt указать:

у меня в ссылке нет параметра по типу "ref" который присутствует во всех урлах такого типа, сходный только знак #. и всё :(

Например несколько ссылок:

catalog/review/87/#.UQfNNRiQ1p4.twitter

/catalog/review/486/#.UTL43I4WOrI.facebook

/catalog/review/101/#.UQlUN751mBI.vk

Вот такая вот ерунда...

kimberlit
На сайте с 13.03.2007
Offline
370
#9
smpastushok:
Вот такая вот ерунда...

Это не параметры. И дай ссылку посмотреть в индексе.

S
На сайте с 25.01.2010
Offline
41
#10
kimberlit:
Это не параметры.

Я показал ссылки страниц, которые вываливаются в индекс. Просьба помочь с составлением строк для блокировки таких страниц в роботсе. В урлах не видно того, что необходимо для оценки возможности удаления? Что еще нужно?

---------- Добавлено 27.04.2013 в 15:21 ----------

kimberlit:
Это не параметры. И дай ссылку посмотреть в индексе.

Сейчас попробую найти, сегодня была выдача просто.

---------- Добавлено 27.04.2013 в 15:27 ----------

kimberlit:
Это не параметры. И дай ссылку посмотреть в индексе.

Проверил пару сотен, сегодня яндекс убрал с индекса страницы такого типа, хотя они были в индексе несколько недель. Особенно появляются тогда, когда кто-то из юзеров добавляет страницу в твитер, вк или другую соц. сеть.

И всё же...на будущее вопрос актуален о блокировке такого типа страниц в выдаче, даже если их яндекс удаляет спустя некоторое время, значит они доступны для индексирования как полноценные страницы, хотя являются бесполезными дублями.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий