Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Поправте мой robots.txt

blek+++
На сайте с 16.01.2009
Offline
72
blek+++
280

Вобщем запарился ходить по блогам всяких горе сеошников ища "идеальный robots" для wordpress

Вот у меня сейчас такой:


User-agent: YandexBlog
Disallow:


User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?feed=
Allow: /wp-content/uploads

Поправте если что не так. Вообще мне просто нужно закрытие от индексации всяких файлов типо wp-login.php и предотвратить дубляж контента.

Бесплатно или в благотворительных целях (/ru/forum/comment/6094606) прогоню ваш сайт по соц. закладкам. 70 сервисов соц. закладок. 700+ ссылок на ваш сайт.
kinar
На сайте с 07.10.2007
Offline
142
kinar
#1

Вот пример моего роботса:

User-agent: *

Allow: /feed

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /index.php?s=

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /author/

Disallow: /category/

Disallow: /tag/

Disallow: /page/

Disallow: /*trackback

Disallow: /*feed

Disallow: /*comments

Disallow: /?s=

Host: domen.ru

Crawl-delay: 5

Sitemap: http://domen.ru/sitemap.xml

У вас есть строки, которые для Яндекса дублируют друг друга:

Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments

Достаточно оставить вариант со звездочкой.

Также я обнаружил интересную особенность - если у вас выше стоит разрешение для бота Яндекс блогов, то робот общего Яндекса пропускает все, что ниже следует. То есть все ваши запрещения он игнорирует. Поэтому проверяйте ваш роботс на валидность через соответствующий сервис Яндекса.

И еще - пробелы между строками не должны быть более одной пустой строки.

Йога по скайпу! (http://www.joga-skype.ru/) Старинные медицинские книги по психиатрии (http://medbasis.ru)
Составление файла robots.txt Как правильно составить robots.txt 5 частых SEO-проблем при

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий