Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите составить robots.txt

A1
На сайте с 01.04.2012
Offline
41
antel13
351

Добрый день. Помогите составить нормальный robots.txt. Пока он выглядит так:

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /2012/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=rules

Sitemap: http://site.ru/sitemap.xml

И так же еще вопрос есть. Вот я добавляю новости, движок DLE. и в индекс вместе с новостями входит страница для печати, выглядит она примерно так:

http://site.ru/print:рage,1,71-название статьи.html

Контент на ней полностью дублируется, с картинками и прочим, только белый фон. Стоит ли ее закрывать от индексации, а как правильно это сделать в роботсе? :)

И вот еще вопрос, заркывть ли от индексации такого вида страницы:

http://site.ru/page/2/

http://site.ru/page/3/

http://site.ru/page/4/

TITLE на них одинаковый почти, только изменяется номер страницы, и как их правильно закрыть от индекса?

Учусь, учусь и еще раз учусь... Цель - заработок 400$/месяц.
hulivtuli
На сайте с 23.06.2010
Offline
197
hulivtuli
#1

Страницу для печати лучше скрыть, можно это сделать в адмнке, в более новых версиях движка, можно и в роботсе. У меня роботс выглядит как то так почти на всех сайтах.

User-Agent: *
Disallow: /templates/
Disallow: /user/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Disallow: /cgi-bin/
Disallow: /engine/
Disallow: /backup/
Disallow: /languages/
Disallow: /newposts/
Disallow: /favorites/
Disallow: /rules.html
Disallow: /tags/
Disallow: /page/
Disallow: /statistics.html
Disallow: /upgrade/
Disallow: /autobackup.php
Disallow: /addnews.html
Disallow: /index.php?subaction=userinfo
Disallow: /index.php?do=addnews
Disallow: /index.php?do=search&mode=advanced
Disallow: /index.php?*
Disallow: /?newsid*
Disallow: /?do=*
Disallow: /*print
Disallow: /*name=search
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=rules
Disallow: /*do=lostpassword
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=search
Disallow: /*index.php?newsid
Disallow: /*do=pm
Sitemap: http://site.ru/sitemap.xml
Host: site.ru
Абузоустойчивые сервера и VPS по низким ценам. 10$ в месяц! (http://cp.inferno.name/aff.php?aff=908&gid=1)
A1
На сайте с 01.04.2012
Offline
41
antel13
#2
hulivtuli:
Страницу для печати лучше скрыть, можно это сделать в адмнке, в более новых версиях движка, можно и в роботсе. У меня роботс выглядит как то так почти на всех сайтах.

Спасибо. А вот в строчке Host: site.ru адрес на свой на сайт без www и http указывать?

hulivtuli
На сайте с 23.06.2010
Offline
197
hulivtuli
#3
antel13:
Спасибо. А вот в строчке Host: site.ru адрес на свой на сайт без www и http указывать?

Да, свой домен пропишите просто.

allleXX77
На сайте с 31.10.2010
Offline
94
allleXX77
#4
antel13:
Спасибо. А вот в строчке Host: site.ru адрес на свой на сайт без www и http указывать?

без www и http указывать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий