Как настроить robot.txt для движка?

FS
На сайте с 19.01.2010
Offline
0
930

Есть сайт rus-phpfusion.com предоставляющий модифицированную версию PHP-Fusion SF

Проблема в том, что яндекс ввел санкции за дублирование контента, и у некоторых пользователей стали выпадать сайты.

Причина предположительно в следующем:

При просмотре страниц с анонсами новостей, ссылки имеют следующий вид:

rus-phpfusion.com/index.php?rowstart=1

rus-phpfusion.com/index.php?rowstart=2

rus-phpfusion.com/index.php?rowstart=3

rus-phpfusion.com/index.php?rowstart=4

rus-phpfusion.com/index.php?rowstart=5

rus-phpfusion.com/index.php?rowstart=6

Как видите, значения: 1,2,3,4,5,6 - это сдвиг на одну новость. В итоге получаем массу страниц, с дублирующимся материалом.

К примеру при переходе на страницу:

rus-phpfusion.com/index.php?rowstart=1

Видим анонсы 11 новостей, и ссылки для прочтения полных версии этих новостей.

Возьмем страницу

rus-phpfusion.com/index.php?rowstart=2

Видим аналогичное, но уже со сдвигом в 1 новость. И так далее.

Первое что пришло в голову, это запретить индексацию страниц, с краткими анонсами новостей. Т.п. всех страниц, в которых присутствует фраза rowstart. Вопрос который меня волнует: будут ли тогда индексироваться полные новости, если ссылка на эти новости есть только по таким адресам как - а они будут запрещены для индексации:

rus-phpfusion.com/index.php?rowstart=1

rus-phpfusion.com/index.php?rowstart=2

rus-phpfusion.com/index.php?rowstart=3

и так далее.

То есть найдет ли поисковик страницы

rus-phpfusion.com/news.php?readmore=2

rus-phpfusion.com/news.php?readmore=3

rus-phpfusion.com/news.php?readmore=4

rus-phpfusion.com/news.php?readmore=5

и так далее.

Сам я не оптимизатор, и продвижением в поиске не занимаюсь, а потому очень сложно сформулировать вопрос. Но думаю большинство поняли что я имею в виду. Буду очень благодарен за помощь. Если сам вопрос не очень понятен, то по мере обсуждения в теме, попробую его уточнить.

kimberlit
На сайте с 13.03.2007
Offline
370
#1

А карта сайта же есть?

FS
На сайте с 19.01.2010
Offline
0
#2

Нет, карты нету, потому и спрашиваю. Интересует именно вариант с robot.txt

Light Phantom
На сайте с 17.03.2007
Offline
188
#3

Попробуйте так закрыть:

<a href="art1.php">Название первой статьи</a>

<noindex>краткое содержание статьи</noindex>

<a href="art2.php">Название второй статьи</a>

<noindex>краткое содержание статьи</noindex>

А вообще ссылки-то Яндекс видеть будет, просто вес передавать не будет по ним.

FS
На сайте с 19.01.2010
Offline
0
#4

Light Phantom, в принципе хорошая идея. Но по сути все равно останется много дублирующихся страниц. Хоть сам текст краткого анонса будет закрыт от индексации, сами страницы все равно будут попадать в индекс, ведь часть страницы будет открыта для индексации. И по-видимому, проблему это не решит.

Или возможно ничего не стоит менять, и попросту подождать, пока в Яндексе отладят свои технологии? Остальные поисковики прекрасно индексируют сайты размещенные на данном движке. Яндекс раньше тоже индексировал, а сейчас просто ужас:(.

Я лично считаю, что удалением дублирующего контента должна заниматься поисковая машина.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий