Вопросы по robots

96

pablodiablo

27 февраля 2015, 12:45

336

Добрый день. Прошу помощи.

Основная страница, которая должна индексироваться: /link.php?link=32

Но, из под фильтров создаются дубли страниц следующего вида:

/link.php?link=32&d=32&srregiontop=2

/link.php?link=32&p=32

/link.php?link=32&srregiontop=11

Как закрыть в robots.txt такие страницы учитывая, что "32" - это переменная, т.е. может быть какое угодно число.

Заранее спасибо.

142

secondary

3 марта 2015, 08:49

#1

По маскам "srregiontop" + страницам пагинации.

Лучше видеть сайт полностью, прежде, чем давать советы, чтобы не закрыть нужные страницы.

Seo аудит сайтов. Консультации. Качественная внутренняя оптимизация. (/ru/forum/803695) Полная подготовка проектов с нуля! Оптимизация готовых сайтов.

101

zhurikzzz

3 марта 2015, 08:57

#2

Самое простое - найти элемент, который встречается в ненужных страницах, но которого нет на нужных. У вас это &

Disallow: /*& - закроет от индексации все страницы где встречается &. Но нужно полностью видеть все страницы, вдруг на нужных встречается &.

А вообще - страницы сортировок правильней закрывать от индексации с помощью rel=canonical.

О robots.txt Вопрос по robots.txt Как закрыть от индексации

137

R_Tem

3 марта 2015, 09:03

#3

сделайте лучше ЧПУ.

с такими урлами и работать сложнее и далеко на них не уедешь.

396

Оптимизайка

3 марта 2015, 09:08

#4

Для яндекса:

Clean-param: srregiontop&p&d /link.php

Для гугла в google webmaster добавить эти параметры в перечень игнорируемых.

Использовать rel="canonical"

+1 за ЧПУ

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!

96

pablodiablo

3 марта 2015, 11:45

#5

Всем спасибо! Разобрался.

Именно Disallow: /*&. Как же я сам сразу не заметил.

За ЧПУ +1.

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы

Курс биткоина превысил $50 тысяч