Как создать правильный robots.txt?

[Удален]

27 октября 2009, 18:26

366

Подскажите пожалуйста, правильный ли я нашел роботс для добавления в адурилку?

Или же достаточно прописать только что-нибудь одно?

User-agent: *

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /tag/

Disallow: /page/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Sitemap: http://ваш сайт.ru/sitemap.xml.gz

User-agent: Yandex

Disallow: /cgi-bin/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /wp-includes/

Disallow: /xmlrpc.php

Disallow: /wp-admin

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Disallow: /tag/

Disallow: /page/

Disallow: /trackback/

Disallow: /feed/

Disallow: /comments/

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Disallow: /*?*

Disallow: /*?

Host: ваш сайт.ru

675

vandamme

27 октября 2009, 19:24

#1

Смотри сюда, здесь подробно расписано про robots.txt для wordpress

130

mgarkunov

27 октября 2009, 19:48

#2

alextrish:
Подскажите пожалуйста, правильный ли я нашел роботс для добавления в адурилку?

Папки нужно закрывать слэшом.

Лучше поставить плагин Platinum SEO Pack и управлять индексацией через мета теги.

675

vandamme

28 октября 2009, 05:43

#3

mgarkunov:
Папки нужно закрывать слэшом.

смотря как ЧПУ прописан

Переиграть и победить: как анализировать конкурентов для продвижения сайта

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи