Вопрос по robots.txt

M
На сайте с 05.03.2009
Offline
75
478

всем привет. Нашел в интернете много описаний роботс.тхт, но все они разные, и я не могу понять какой именно мне использовать. Подскажите пожалуйста, что должно быть в роботс.тхт, если мои ссылки имеют вид (/%category%/%postname%.html), а на блоге для поисковиков я хочу что бы было открыты посты, страницы и главная, а все остальное закрыто.

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#1

Не знаю что за разные описания вы нашли...

Воспользуйтесь описанием от поисковика:

http://help.yandex.ru/webmaster/?id=996567

M
На сайте с 05.03.2009
Offline
75
#2

да, описаний много, но я , честно говоря слабоват в этом деле сейчас, и боюсь что то испортить. поэтому смотрел примеры самих фалов...а примеры у всех разные

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#3
marininrm:
да, описаний много, но я , честно говоря слабоват в этом деле сейчас, и боюсь что то испортить. поэтому смотрел примеры самих фалов...а примеры у всех разные

robots.txt можно потестировать в Яндекс.Вебмастер

А можно тут выложить и попросить проверить.

M
На сайте с 05.03.2009
Offline
75
#4

Я пока решил остановиться на таком варианте. но не знаю насколько он правильный, подскажите

User-agent: *

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback

Disallow: */trackback

Disallow: /feed

Disallow: /page/

Disallow: /tag/

Disallow: /category/

Disallow: */feed

Disallow: /feed/

Disallow: /archives/

Disallow: /*?

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.css$

User-agent: Yandex

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content

Disallow: /trackback

Disallow: */trackback

Disallow: /feed

Disallow: /page/

Disallow: /tag/

Disallow: /category/

Disallow: */feed

Disallow: /feed/

Disallow: /archives/

Disallow: /*?

Disallow: /*.php$

Disallow: /*.js$

Disallow: /*.css$

Sitemap: http://moysite.ua/sitemap.xml

A5
На сайте с 06.08.2006
Offline
46
#5

Для яндекса marininrm, добавите


Host: moysite.ua
M
На сайте с 05.03.2009
Offline
75
#6

Art569, Host: moysite.ua добавть сразу после User-agent: Yandex и

User-agent: *????

A5
На сайте с 06.08.2006
Offline
46
#7

marininrm,


User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: /feed
Disallow: /page/
Disallow: /tag/
Disallow: /category/
Disallow: */feed
Disallow: /feed/
Disallow: /archives/
Disallow: /*?
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.css$

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /trackback
Disallow: */trackback
Disallow: /feed
Disallow: /page/
Disallow: /tag/
Disallow: /category/
Disallow: */feed
Disallow: /feed/
Disallow: /archives/
Disallow: /*?
Disallow: /*.php
Disallow: /*.js$
Disallow: /*.css$
Host: moysite.ua
Sitemap: http://moysite.ua/sitemap.xml

Вот что-то типа этого.

M
На сайте с 05.03.2009
Offline
75
#8

Ребята а как заблокировать для поисковиков архивы типа

http://мой-сайт.com/2008/08

???????????

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий