Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Поисковики нашли миллионы левых ссылок на сайте, как правильно исключить их?

W
На сайте с 14.03.2012
Offline
87
Webbie
293

У меня на сайте все странички отличаются только GET-параметрами. Например:

http://site.com/?go=post&id=2

http://site.com/?page=4

http://site.com/?go=user&uid=4

так поисковики откуда-то придумали кучи ссылок по типу:

http://site.com/index.php/networking/category/networking/?go=post&id=2

http://site.com/big/category/big/?page=4

http://site.com/race/item/s/l/?go=user&uid=4

Ведут эти ссылки туда же, но проиндексированы как иные ссылки. Даже гугл-вебмастер выдал:

Робот Googlebot обнаружил чрезвычайно большое количество URL-адресов на вашем сайте

Как корректно объяснить поисковикам, что надо ходить только на первые виды ссылок, а не хрен знает что?

Сейчас в PHP прописал 301 редирект, если в адресной строке встречается index.php, может еще надо что-то в robors.txt прописать?

Боюсь писать что-то вроде Disallow: /index.php , чтоб не заблокировать весь сайт к чертям.

М
На сайте с 18.05.2013
Offline
3
Маховик
#1

Вы бы правильно вопрос задали, какая CMS, и сам сайт. Ведь переменных я так понял в урлах множество. Надо составить правильный robots.txt.

W
На сайте с 14.03.2012
Offline
87
Webbie
#2
Маховик:
Вы бы правильно вопрос задали, какая CMS, и сам сайт. Ведь переменных я так понял в урлах множество.

CMS никакая, самописная. Параметров да, несколько разных.

Просто если дописать любой набор символов между домен/index.php и знаком вопроса, то всё равно сайт вел на страничку, по параметрам после этого знака вопроса. Например:

http://site.com/index.php/sdkjhfiuewfhilsdkjhfsdfasildj/dsfkjasdlfhjkldsf?go=post&id=4

вело всё равно на на 4-й пост

Сейчас же я в index.php поставил 301 редирект c таких страниц на http://site.com/?go=post&id=4 (на те же параметры, которые после знака вопроса).

Верно ли это в сложившеся ситуации и может еще что-то надо?

Joomla и произвольный набор знак ? в урле Площадки для платных ссылок
М
На сайте с 18.05.2013
Offline
3
Маховик
#3

robots.txt нужен, и еще допиливать движок на обработку неправильный урлов, может сайт покажете?

W
На сайте с 14.03.2012
Offline
87
Webbie
#4
Маховик:
robots.txt нужен, и еще допиливать движок на обработку неправильный урлов, может сайт покажете?

Та чтоб не сочли за рекламу, мне бы с проблемой разобраться. А то по 2 млн. ссылок, где их раз в 10 меньше должно быть...

М
На сайте с 18.05.2013
Offline
3
Маховик
#5

Тогда извините, без наглядного я не могу вам помочь. Пробуйте различные варианты.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий