Лишние страницы DLE в индексе.

creeping

10 декабря 2010, 13:19

644

Составляю роботс новому сайту на движке DLE и подумываю о том чтобы для индексации оставить только страницы с полными новостями и разделы.

Но вот страницы типа site.ru/page/.../ не знаю как не пустить в индекс при условии того что робот по ним ходил без проблем?

Если вписать "Disallow: /page/" то не останется никакой перелинковки.

Вот если интересно будет мой роботс.

User-agent: *

Disallow: /templates/

Disallow: /engine/

Disallow: /user/

Disallow: /2010/

Disallow: /2011/

Disallow: /tags/

Disallow: /index.php?do=*

Disallow: /?do=*

Disallow: /admin.php*

Disallow: /statistics.html

Disallow: /rules.html

Host: site.ru

creeping добавил 11.12.2010 в 10:33

Может кто ещё посоветует что-то добавить в роботс?

xsoulzzz

13 декабря 2010, 22:00

вы и так почти весь сайт запретили:), но если хотите, добавьте:

Disallow: /*print

Disallow: /autobackup.php

Disallow: /favorites/

зачем запрещать "/page/"? по страницам тоже немного трафика набирается.