Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите с robots.txt

variousmetal
На сайте с 10.12.2009
Offline
71
variousmetal
520

Здравствуйте, подскажите проавильно ли записал файл robots.txt

User-agent: *
Disallow: /backup/
Disallow: /engine/
Disallow: /favorites/
Disallow: /language/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /page/
Disallow: */page/*
Disallow: /2012/$
Disallow: /tags/$
Disallow: /templates/
Disallow: /uploads/
Disallow: /user/
Disallow: /*print
Disallow: /*do=pm
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=addnews
Disallow: /*do=lastnews
Disallow: /*do=lastcomments
Disallow: /*do=lostpassword
Disallow: /*do=register
Disallow: /*do=search
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /search.html
Disallow: /rules.html
Host: имя.ru
Sitemap: http://имя.ru/
Белый каталог статей (http://rusarticles.su/)
Snake1951
На сайте с 22.04.2012
Offline
57
Snake1951
#1
variousmetal:
Здравствуйте, подскажите проавильно ли записал файл robots.txt 

User-agent: *

Disallow: /backup/

Disallow: /engine/

Disallow: /favorites/

Disallow: /language/

Disallow: /lastnews/

Disallow: /newposts/

Disallow: /page/

Disallow: */page/*

Disallow: /2012/$

Disallow: /tags/$

Disallow: /templates/

Disallow: /uploads/

Disallow: /user/

Disallow: /*print

Disallow: /*do=pm

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=addnews

Disallow: /*do=lastnews

Disallow: /*do=lastcomments

Disallow: /*do=lostpassword

Disallow: /*do=register

Disallow: /*do=search

Disallow: /addnews.html

Disallow: /statistics.html

Disallow: /search.html

Disallow: /rules.html

Host: имя.ru

Sitemap: http://имя.ru/

помимо этого обычно для Яндекс бота отдельные указания. Т.е. Юзер агент именной. А так.. Если из этого списка все под запрет, то верно.

Fish Eat Fish
variousmetal
На сайте с 10.12.2009
Offline
71
variousmetal
#2

Snake1951, Спасибо большое. А можно поподробнее про Юзер агент именной

Snake1951
На сайте с 22.04.2012
Offline
57
Snake1951
#3

User-agent: Yandex

Я дублирую для него инструкции. Слышал, что он капризничает если не видит к себе индивидуального подхода :)

Lycon
На сайте с 13.03.2006
Offline
125
Lycon
#4

Sitemap: http://имя.ru/файл_карты_сайта.xml

Карта сайта так должна быть.

P.S. Не забудьте этот же файл потом добавить в сервисы "Вебмастер" Я и Г.

P.S.S. Robots.txt можно проверить там же.

siv1987
На сайте с 02.04.2009
Offline
427
siv1987
#5
Snake1951:
Я дублирую для него инструкции. Слышал, что он капризничает если не видит к себе индивидуального подхода

Вот так распространяется этот бред в массы.

Snake1951
На сайте с 22.04.2012
Offline
57
Snake1951
#6
siv1987:
Вот так распространяется этот бред в массы.

Да, но этот бред по-крайней мере без обиден😎

Яндекс:

В самом robots.txt проверяется наличие записей, начинающихся с 'User-agent:', в них ищутся подстроки 'Yandex', либо '*' (регистр значения не имеет), причем, если обнаружено 'User-agent: Yandex', директивы для 'User-agent: *' не учитываются. Если записи 'User-agent: Yandex' и 'User-agent: *' отсутствуют, считается, что доступ роботу не ограничен.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий