Дублированные страницы?

97

fogel

27 июня 2010, 19:49

604

Здравствуйте, являются ли страницы в выдаче дублями?

Заранее спасибо за ответ,-

559

MyOST

27 июня 2010, 20:18

#1

fogel, да

причем

http://www.argoivanovo.ru/company/index.php?spi=1?

http://www.argoivanovo.ru/company/index.php?spi=1?23489204

http://www.argoivanovo.ru/company/index.php?spi=1?345

http://www.argoivanovo.ru/company/index.php?spi=1?091ldjjkh

тоже можно вогнать в индекс , т.к. HTTP/1.1 200 OK

Дубли

Блог (http://seom.info/) | Ты уже SEO профессионал? (http://www.key-collector.ru/) Развиваем семантику более 8 лет! ()

293

Brand from Amber

27 июня 2010, 20:31

#2

Гы )) Вот ещё немного:

http://www.argoivanovo.ru/

http://www.argoivanovo.ru/index.php

http://www.argoivanovo.ru/index.php?a=double1

http://www.argoivanovo.ru/index.php?a=double2

http://www.argoivanovo.ru/index.php?a=double3

...

http://www.argoivanovo.ru/index.php?a=doubleN

Лучший способ понять что-то самому - объяснить это другому.

97

fogel

28 июня 2010, 05:54

#3

Подскажите пожалуйста как находить такие дубли и как запретить их в роботсе?

Disallow: http://www.argoivanovo.ru/index.php

Disallow: http://www.argoivanovo.ru/company/index.php?spi=* ?

266

WebAlt

28 июня 2010, 06:05

#4

Вот так вообще то:

User-Agent: *

Disallow: /index.php

Disallow: /company/index.php?spi=*

На сайте не нужно на них ссылки ставить, тогда и дублей не будет, робот ходит только по тем ссылкам которые есть у вас на сайте.

88

empowered

28 июня 2010, 06:05

#5

На Битриксе это стандартные дубли или от запиленного компонента самописа?

97

fogel

28 июня 2010, 06:52

#6

WebAlt:
Вот так вообще то:
User-Agent: *
Disallow: /index.php
Disallow: /company/index.php?spi=*

На сайте не нужно на них ссылки ставить, тогда и дублей не будет, робот ходит только по тем ссылкам которые есть у вас на сайте.

Спасибо, иногда попадаются страницы имеющие по 10 дублей, хотя ссылок на сайте не найти

fogel добавил 28.06.2010 в 10:57

empowered:
На Битриксе это стандартные дубли или от запиленного компонента самописа?

Мало разбираюсь в битриксе, не скажу, но вот например у ссылки http://www.argoivanovo.ru/news/index.php?news=777 похоже очень много дублей, если это они:

http://www.argoivanovo.ru/news/index.php?news=777&spi=1

http://www.argoivanovo.ru/news/index.php?news=777&spi=2

http://www.argoivanovo.ru/news/index.php?news=777&spi=3

................

http://www.argoivanovo.ru/news/index.php?news=777&spi=до бесконечности

88

empowered

28 июня 2010, 08:49

#7

Кстати, есть одна интересная особенность. Если взять и перечислить на этой странице все возможные дубли этой страницы, то через полчаса они будут съедены быстророботом и появятся в индексе, а уже в следующий ап из индекса может выпасть добрая часть всех страниц сайта.

google Indexing API - 3 месяца Google не Все вопросы про продвижению

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов

Переиграть и победить: как анализировать конкурентов для продвижения сайта