slava-zis: Мне кажеться поисковикам пофиг на первоисточник. Им нужно показать информацию, а если эта информация дублируеться на многих сайтах, то они покажут самый лучший сайт из этой кучи.
Заметил, что Я в таких случаях выводит очень посещаемые (по кликам по ключевым), либо разделяет по возрасту домена.
voodoomaniac: У меня похожая проблема, я с гуглем только совладать не могу. Вот это попало в индекс то, что не должно было:
/tovari/smd-svetodiodi.html?limit=15&start=10
/tovari/smd-svetodiodi.html?limit=25&start=10
/tovari/smd-svetodiodi.html?limit=30&start=5
/tovari/smd-svetodiodi.html?limit=50&start=5
Мне нужны только страницы вида
/tovari/smd-svetodiodi.html?limit=25&start=25
/tovari/smd-svetodiodi.html?limit=25&start=50 и т.д. То есть с шагом в 25 товаров. Никак не могу найти ответ. Буду признателен за помощь!
Не самый лучший, но единственный способ - перечисление разрешенных ссылок:
Мне кажеться поисковикам пофиг на первоисточник. Им нужно показать информацию, а если эта информация дублируеться на многих сайтах, то они покажут самый лучший сайт из этой кучи.
Заметил, что Я в таких случаях выводит очень посещаемые (по кликам по ключевым), либо разделяет по возрасту домена.
У меня похожая проблема, я с гуглем только совладать не могу. Вот это попало в индекс то, что не должно было:
/tovari/smd-svetodiodi.html?limit=15&start=10
/tovari/smd-svetodiodi.html?limit=25&start=10
/tovari/smd-svetodiodi.html?limit=30&start=5
/tovari/smd-svetodiodi.html?limit=50&start=5
Мне нужны только страницы вида
/tovari/smd-svetodiodi.html?limit=25&start=25
/tovari/smd-svetodiodi.html?limit=25&start=50 и т.д. То есть с шагом в 25 товаров. Никак не могу найти ответ. Буду признателен за помощь!
Не самый лучший, но единственный способ - перечисление разрешенных ссылок:
User-agent: Googlebot
Allow: /tovari/smd-svetodiodi.html?limit=25&start=25
Allow: /tovari/smd-svetodiodi.html?limit=25&start=50
Allow: /tovari/smd-svetodiodi.html?limit=25&start=75
Allow: /tovari/smd-svetodiodi.html?limit=25&start=100
Allow: /tovari/smd-svetodiodi.html?limit=25&start=125
Allow: /tovari/smd-svetodiodi.html?limit=25&start=150
Allow: /tovari/smd-svetodiodi.html?limit=25&start=175
Allow: /tovari/smd-svetodiodi.html?limit=25&start=200
Allow: /tovari/smd-svetodiodi.html?limit=25&start=225
(... и так далее)
Disallow: /tovari/smd-svetodiodi.html?*
Либо так, но в этом случае не все ссылки попадают под правило (н-р, ссылка /tovari/smd-svetodiodi.html?limit=25&start=10 и подобные проиндексируется):
Allow: /tovari/smd-svetodiodi.html?limit=25*
Disallow: /tovari/smd-svetodiodi.html?*
Лучший вариант - исправить скрипт (по возможности).
ps. к сожалению robots.txt не понимает регулярных выражений, было бы куда проще...
Можно ли как-нибудь ускорить вылет этих страниц из индекса? Они же там годами висеть могут.
Если так:
User-agent: Yandex
Allow: /catalog/tovar
Disallow: /catalog/tovar?*
При схожей проблеме с дублями, именно ускорить процесс вылета помог robots.txt
Страницы с редиректами висели несколько месяцев.