Форум Практика оптимизации Любые вопросы от новичков по оптимизации

WP robots.txt

rammlied
На сайте с 13.04.2011
Offline
56
rammlied
414

Может ли кто нибудь поделится готовым robots.txt для движка WP чтобы скрывал от индексации дубли страниц, теги, календари и прочую нечесть ? если такое конечно вообще возможно )

делаю СДЛы, получаются ГСы )
verbman
На сайте с 04.11.2010
Offline
93
verbman
#1

Пользуюсь таким:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads

# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*

# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*

# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /

# digg mirror
User-agent: duggmirror
Disallow: /

Sitemap: http://адрес сайта/sitemap.xml

User-agent: Yandex
Crawl-delay: 5

Disallow: /tag
Купи китайца https://zen.yandex.ru/id/5d3803203f548700ab5e92d3
stundr
На сайте с 19.06.2008
Offline
201
stundr
#2

мне яндекс вебмастер написал при проверке, что вот эта строчка Disallow: /*?* запрещает индексацию, думаю гугл так же, а это в ВП если не ошибаюсь адреса страниц.

=^_^=

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий