robots.txt создать правильно?

12
SERG36
На сайте с 14.07.2008
Offline
67
1476

Здравствуйте, необходима помощь, нужно правильно создать robots.txt, выслушаю все ваши рекомендации, готов на платную услугу.

Сейчас в индексе 223стр, половина из них клей, остальная часть не нужные стр для индекса типа - http://мой-сайт/blog/moj-blog/reputation.html и тд

сейчас robots.txt выглядит так -

User-agent: *

Host: moy-sait.ru

Sitemap: http://moy-sait.ru/sitemap.xml

Спасибо

продвижение сайтов, удобный сервис для новичков (http://www.rookee.ru/Web/Register.aspx?pid=981f7ce666abe0b265a106228ceb94fd373680)
AV
На сайте с 18.02.2010
Offline
87
#1
SERG36
На сайте с 14.07.2008
Offline
67
#2

Спасибо, уже пол дня изучаю, надеюсь к завтрашнему вечеру изучу ))

Просто боюсь наделать ошибок, и попасть не под оптимизацию, а под песимизацию, хотя наверное хуже чем сейчас не бывает :)

muratti
На сайте с 31.05.2008
Offline
238
#3
SERG36:
Здравствуйте, необходима помощь, нужно правильно создать robots.txt, выслушаю все ваши рекомендации

Может, сперва, огласите CMS, на которой работает сайт? WP, DLE... и т.д.

SERG36:
готов на платную услугу.

C вас 100500 йеуро. :D

SERG36
На сайте с 14.07.2008
Offline
67
#4
muratti:
Может, сперва, огласите CMS, на которой работает сайт? WP, DLE... и т.д.

CMS-DLE

C вас 100500 йеуро. :D

А можно чучуть дешевле?;)

[Удален]
#5

SERG36, уважаемый ТС. Образайтесь, помогу вашей проблеме

muratti
На сайте с 31.05.2008
Offline
238
#6
SERG36:
CMS-DLE

User-agent: *

Disallow: /user/
Disallow: /engine/
Disallow: /lastnews/
Disallow: /favorites/
Disallow: /language/
Disallow: /addnews/
Disallow: /newposts/
Disallow: /templates/
Disallow: /rss.xml
Disallow: /*print
Disallow: /rules.html
Disallow: /statistics.html
Disallow: /addnews.html
Disallow: /newposts.html
Disallow: /index.php?do=pm
Disallow: /index.php?do=user
Disallow: /index.php?do=stats
Disallow: /index.php?do=rules
Disallow: /index.php?do=search
Disallow: /index.php?do=register
Disallow: /index.php?do=favorites
Disallow: /index.php?do=feedback
Disallow: /index.php?do=addnews
Disallow: /index.php?action=logout
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Host: site.com
Sitemap: http://site.com/sitemap.xml

Либо:

User-agent: Yandex

Директива User-agent


Host: www.site.com
Sitemap: http://www.site.com/sitemap.xml

Какой сайт будет выбран главным зеркалом: Директива Host

SERG36
На сайте с 14.07.2008
Offline
67
#7

Всем большое спасибо, вопрос решен :)

ARepik
На сайте с 27.03.2009
Offline
58
#8

не совсем правильно, Host понимает только Yandex, а sitemap нужно писать через строчку, то есть должно быть так:

User-Agent: Yandex

Disallow: /user/

Disallow: /engine/

Disallow: /lastnews/

Disallow: /favorites/

Disallow: /language/

Disallow: /addnews/

Disallow: /newposts/

Disallow: /templates/

Disallow: /rss.xml

Disallow: /*print

Disallow: /rules.html

Disallow: /statistics.html

Disallow: /addnews.html

Disallow: /newposts.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=user

Disallow: /index.php?do=stats

Disallow: /index.php?do=rules

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=favorites

Disallow: /index.php?do=feedback

Disallow: /index.php?do=addnews

Disallow: /index.php?action=logout

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Host: site.com

User-Agent: *

Disallow: /user/

Disallow: /engine/

Disallow: /lastnews/

Disallow: /favorites/

Disallow: /language/

Disallow: /addnews/

Disallow: /newposts/

Disallow: /templates/

Disallow: /rss.xml

Disallow: /*print

Disallow: /rules.html

Disallow: /statistics.html

Disallow: /addnews.html

Disallow: /newposts.html

Disallow: /index.php?do=pm

Disallow: /index.php?do=user

Disallow: /index.php?do=stats

Disallow: /index.php?do=rules

Disallow: /index.php?do=search

Disallow: /index.php?do=register

Disallow: /index.php?do=favorites

Disallow: /index.php?do=feedback

Disallow: /index.php?do=addnews

Disallow: /index.php?action=logout

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Sitemap: http://site.com/sitemap.xml

SERG36
На сайте с 14.07.2008
Offline
67
#9

Спасибо, я именно так и сделал

muratti
На сайте с 31.05.2008
Offline
238
#10
ARepik:
sitemap нужно писать через строчку

С чего это?

ARepik:
не совсем правильно

Что именно? Вариант рабочий. Если на то пошло, и чтобы роботы не заигнорили писанину в роботсе, надо делать под каждую ПС отдельные блоки, если так хочется.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий