Форум Поисковые системы Яндекс

Robots.txt

[Удален]
523

Всем привет!!Подскажите пожалуйста правильно ты у меня настроен Robots.txt ?Мне нужно для Wordpress и для Yandex

User-agent: *

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /trackback

Disallow: /feed

Disallow: /comments

Disallow: /category/*/*

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Allow: /wp-content/uploads

# Google Image

User-agent: Googlebot-Image

Disallow:

Allow: /*

# Google AdSense

User-agent: Mediapartners-Google*

Disallow:

Allow: /*

# Internet Archiver Wayback Machine

User-agent: ia_archiver

Disallow: /

# digg mirror

User-agent: duggmirror

Disallow: /

Sitemap: http://сайт тут/karta-sajta/

User-agent: Yandex

Disallow: /tag

L
На сайте с 12.02.2012
Offline
115
Tantal
#1

Что ж так все коряво. Вот это вообще выкинь

xegen:
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Исключи все дубли в первую очередь

---------- Добавлено 22.02.2012 в 02:40 ----------

Пропиши Host: site.ru

для яндекса

А лучше загугли "Правильный robots для wordpress" и слепи из кучи примеров один

---------- Добавлено 22.02.2012 в 02:42 ----------

Самое главное это дублей не наплодить

Disallow: /archives/

Disallow: /search/

Disallow: /page/

Disallow: */page/

Disallow: /tag/

Disallow: /2013/

Disallow: /2012/

Disallow: /author/

подпись
Как правильно искать и Настройка индексирования нового сайта Новые стандарты для директивы

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий