robots.txt для движка ДЛЕ

A7
На сайте с 07.09.2007
Offline
257
654

Составил тут роботс.тхт для движка дле, посмотрите пожалуйста и скажите что не так.

Еще, стоит ли запрещать страницы для печати ? мне кажется они клеятся и к хорошему не приводут.

Вот собственно robots.txt

User-agent: *

Disallow: /index.php?do=pm

Disallow: /index.php?do=stats

Disallow: /index.php?do=search

Disallow: /index.php?do=addnews

Disallow: /index.php?do=register

Disallow: /index.php?do=feedback

Disallow: /index.php?do=lostpassword

Disallow: /index.php?subaction=newposts

Disallow: /user/

Disallow: /backup/

Disallow: /engine/

Disallow: /language/

Disallow: admin.php

Disallow: autobackup.php

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

Цахес
На сайте с 15.03.2007
Offline
205
#1
alex_778:
скажите что не так.

1) Правила начинаются не с символа '/' и не с символа '*'.

Disallow: admin.php
Disallow: autobackup.php

2) Директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow')

Disallow: autobackup.php

Host: site.ru
alex_778:
Еще, стоит ли запрещать страницы для печати ?

Стоит, запрещайте.

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
A7
На сайте с 07.09.2007
Offline
257
#2

Цахес, будьте любезны, исправьте что не так и добавьте к запрету страницы для печати.

Я просто в роботс вообще мало что понимаю (

Хоть и разжевали, но всё равно трудно понять

Цахес
На сайте с 15.03.2007
Offline
205
#3
alex_778:
добавьте к запрету страницы для печати.

Если учитывать что страницы для печати начинаются с */print:page*, то:

User-agent: *
Disallow: /index.php?do=pm
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?do=addnews
Disallow: /index.php?do=register
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?subaction=newposts
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /admin.php
Disallow: /autobackup.php
Disallow: /*print:
Host: site.ru

Sitemap: http://site.ru/sitemap.xml
A7
На сайте с 07.09.2007
Offline
257
#4

огромное спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий