robots.txt для WP

а ссылку на сайт можно? ато так ничего не понятно

Вот это точно лишнее - Вы же нигде не запрещаете все url'ы, начинающиеся с wp-content.

Запрещает все ссылки вида http://site.ru/feed* (* означает любую последовательность символов)

Запрещает все ссылки, содержащие /feed, т. е. http://site.ru/*/feed, т. е. вторая запись - это аналог первой, только расширенный, нет смысла оставлять обе записи

По своей практике скажу, что вполне достаточно:

Disallow: /feed (но нужно смотреть на структуру, мне хватало этого, но может понадобиться Disallow: */feed)

Disallow: /wp-login.php

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

У меня на блоге вот такой robots.txt

Смысл crawl-delay, если все документы запрещены к индексации этим ботом?

Мы вот такое создали, но меня терзает подозрение, что user-agent с именем должен содержать то же, что и user-agent * Или с именами вообще убрать?

User-agent: Adsbot-Google

Disallow:

User-agent: Googlebot

Disallow:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /cgi-bin/

Disallow: /affiliate/

Disallow: /images/

Disallow: /blog/wp-admin/

Disallow: /blog/wp-includes/

Disallow: /blog/wp-content/plugins/

Disallow: /blog/wp-content/cache/

Disallow: /blog/wp-content/themes/

Disallow: /blog/wp-content/upgrade/

Disallow: /blog/tmp/

Disallow: /blog/wp-login.php

Disallow: /blog/wp-register.php

Disallow: /tag

Disallow: /feed

Disallow: /trackback

Disallow: /comments

Disallow: /category

Sitemap:в обычном виде

Да никто особо не спорит. Единственное что... А зачем все закрывают страницу тегов? Её тоже можно продвигать.

У меня прописаны Title и description в тэгах, но по ним же дубли текста выползут, вот и закрыла от греха подальше.

martiniskon, все просто - нужно запретить те страницы, которые не должны индексироваться, к примеру системные или дублирующие. Вот пример моего файла роботс

http://seom.info/robots.txt

User-agent: *

Disallow: /redirect/ - запрещаем редиректы (не относится к блогу)

Disallow: /author/ - запрещаем к индексации системные страницы про автора поста

Disallow: /wp-admin/ - админка

Disallow: /wp-includes - админка

Disallow: /category/ - выкидываем категории, как дубли контента

Disallow: /category/*/* - выкидываем категории, как дубли контента

Disallow: /page/ - выкидываем постраничную навигацию, как дубли контента

Disallow: /?feed= - фиды

Disallow: /?s= - поиск

Disallow: /xmlrpc.php - системные

Disallow: /wp-login.php - системные

Disallow: /wp-register.php - системные

Disallow: */comments - дублирующие страницы с комментариями

Disallow: */comment-page*- дублирующие страницы с комментариями

Disallow: /*trackback - трекбэки

Disallow: /*feed - фиды

Disallow: /author* - авторы

Disallow: /*?* - вариации несущесвтующих урлов

Disallow: /*? - вариации несущесвтующих урлов

Disallow: /?* - вариации несущесвтующих урлов

Disallow: */feed -фид

Disallow: /feed -фид

Disallow: */trackback -трекбэки

Disallow: /tag/*/page -постраничная навигация на страницах тегов, при этом сами теги в индексе

Host: seom.info

Еще страницы архивов как дубли можно выкинуть, просто у меня их нет.

В остальном - у каждого своя структура, избавляйтесь от системных страниц, избавляйтесь от дублированного контента внутри сайта, будет Вам счастье.

Спасибо всем за помощь, но есть еще вопросы.

1) Какие права выставлять на robots.txt?

2) Для яндекса не нужно писать отдельный список? Т.е. у нас идет User-agent: * - общий и отдельно User-Agent: Yandex. Общего достаточно?

3) Все по-разному написали, следовательно, вопрос. Есть ли разница (для поисковиков) в написании? Например:

Disallow: /wp-admin/ и Disallow: /wp-admin

Disallow: /wp-includes/ и Disallow: /wp-includes

4) У многих в блогах встретил это: Allow: /wp-content/uploads нужно все-таки или нет?

5) Есть ли разница для поисковиков в последовательности. Например:

Disallow: */comments

Disallow: */comment-page*

Disallow: /*trackback

Disallow: /*feed

Disallow: /author*

или "череданём" вот так:

Disallow: */comments

Disallow: /author*

Disallow: /*trackback

Disallow: /*feed

Disallow: */comment-page*

Первый вариант запретит индексировать файлы из директории wp-admin, но не запретит индексировать файлы из директорий, вложенных в wp-admin.

Второй вариант запретит индексировать и во вложенных в wp-admin директориях.