Googlebot ругается!

S
На сайте с 26.01.2008
Offline
138
406

такая проблемка

В вебмастер тулс гугл прислал письмо что у меня на сайте слишком много одинаковых страниц

И в правду когда добавляется контент на сайт, в категории генерируются страницы с одинаковыми текстами и тайтлами, меняются только превьюшки контента.

Скорей всего это гуглу и не нравится, так как таких страниц в разных категориях накопилось очень, очень много.

Как быть? в robots.txt добавить все последующие страницы кроме первой?

Joker-jar
На сайте с 26.08.2010
Offline
167
#1

Как понять в разных категориях? Одна и та же статья находится в нескольких категориях и, в зависимости от категории, у нее разный url?

S
На сайте с 26.01.2008
Offline
138
#2

нет, сайт о мобильном контенте

получается так:

http://www.domain.com/themes/animals/model_Nokia_6264/

http://www.domain.com/themes/animals/model_Nokia_6264/page_2

http://www.domain.com/themes/animals/model_Nokia_6264/page_3

и тд..

на этих страницах показываются превью тем, т.е. скриншоты тем.

при добавлении новых тем, автоматом создается страница, page_...

тайтлы и тексты на этих всех страницах одинаковые.

текста гугла:

Робот Googlebot столкнулся с проблемами при сканировании вашего сайта

Робот Googlebot обнаружил чрезвычайно большое количество ссылок на вашем сайте. Это может свидетельствовать о проблеме, связанной со структурой URL-адресов сайта. Возможно, робот Googlebot без необходимости сканирует большое количество различных URL, указывающих на идентичное или похожее содержание, либо сканирует разделы сайта, не требующие сканирования. В результате робот Googlebot может потреблять гораздо больше ресурсов канала передачи данных, чем необходимо. Кроме того, есть вероятность, что он не сможет полностью просканировать все содержание сайта.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий