Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Нормальные ли мои robots.txt

G
На сайте с 15.10.2010
Offline
34
gefton
716

Подскажите, нормальные ли это роботс.txt для моих сайтов на дле и вп. Перелопатил кучу форумов и статей, все сводится к дискуссии, что "вася считает одно правильным, а петя другое..." Никаких изысков, все как бы стандартно...

Для DLE


User-agent: *
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Sitemap: http://moysait.com/sitemap.xml

User-agent: Yandex
Disallow: /*print
Disallow: /user/
Disallow: /backup/
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /uploads/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /index.php?do=addnews
Disallow: /index.php?do=feedback
Disallow: /index.php?do=lostpassword
Disallow: /index.php?do=pm
Disallow: /index.php?do=register
Disallow: /index.php?do=stats
Disallow: /index.php?do=search
Disallow: /index.php?subaction=newposts
Disallow: /?do=lastcomments
Disallow: /statistics.html
Host: www.moysait.com
Sitemap: http://moysait.com/sitemap.xml

Для WordPress

    
User-Agent: *
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Sitemap: http://moysait.com/sitemap.xml

User-Agent: Yandex
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Host: moysait.com
Sitemap: http://moysait.com/sitemap.xml

Все ок?

Ps стоит ли в строчке 

Host: www.moysait.com
для Яндекса в ДЛЕ стаить www ?
kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#1

В первом хост с ввв, а сайтмап без ввв. :(

G
На сайте с 15.10.2010
Offline
34
gefton
#2
kimberlit:
В первом хост с ввв, а сайтмап без ввв. :(

я про это и говорю. лучше с www или без?

по структуре роботс, ничего лишнего не включил?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#3
gefton:
я про это и говорю. лучше с www или без?

Должно быть одинаково.

LeonCrab
На сайте с 30.01.2007
Offline
189
LeonCrab
#4

Проверить правильно ли закрыли ненужные от индексации, и не запретили ли лишнего поможет Яндекс.

Помощь в создании сайтов на MODX, Laravel, Slim. В личку. Хостинг, которому я доверяю (https://beget.com/p181956).
G
На сайте с 15.10.2010
Offline
34
gefton
#5

загрузил и провели роботс через яндекс

    
Используемые секции    
Строка	
	
22-22	
Sitemap: http://сайт.ru/sitemap.xml
		
24-46	
User-agent: Yandex
Disallow: /*print
...
Sitemap: http://сайт.ru/sitemap.xml

это значит ошибки в этих строках?

gefton добавил 29.03.2011 в 16:48

может вбить без яндекса, универсальный 

User-agent: *

Disallow: /backup/

Disallow: /catalog/

Disallow: /cgi-bin/

Disallow: /engine/

Disallow: /favorites/

Disallow: /language/

Disallow: /lastnews/

Disallow: /newposts/

Disallow: /tags/

Disallow: /templates/

Disallow: /uploads/

Disallow: /user/

Disallow: /addnews.html

Disallow: /admin.php

Disallow: /autobackup.php

Disallow: /index.php?do=

Disallow: /index.php?subaction=newposts

Disallow: /rules.html

Disallow: /statistics.html

Disallow: /?do=lastcomments

Disallow: /*page/

Sitemap: http://сайт.com/sitemap.xml

Host: сайт.com

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий