robots.txt

[Удален]
340

Помогите что в моем robots не так?

Он исключил 61 страницу

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-

Disallow: /cgi-bin

Disallow: /author/

Disallow: /xmlrpc.php

Disallow: /tag/

Disallow: /page/

Disallow: /archive/

Disallow: /*?tag=

Disallow: /*?cat=

Disallow: /*?paged=

Disallow: /*?m=

Disallow: /*feed

Disallow: /*comments

Disallow: /*trackback

Disallow: /*comment-page

Disallow: /*cpage=

Disallow: /*?s=

Disallow: /*&s=

Crawl-delay: 3

User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /wp-

Disallow: /cgi-bin

Disallow: /author/

Disallow: /xmlrpc.php

Disallow: /tag/

Disallow: /page/

Disallow: /archive/

Disallow: /*?tag=

Disallow: /*?cat=

Disallow: /*?paged=

Disallow: /*?m=

Disallow: /*feed

Disallow: /*comments

Disallow: /*trackback

Disallow: /*comment-page

Disallow: /*cpage=

Disallow: /*?s=

Disallow: /*&s=

Crawl-delay: 3

Host: zenschina.ru

Sitemap: http://zenschina.ru/sitemap.xml

Что ему не так? Что нужно убрать от сюда?

Спасибо за внимание!!!

siv1987
На сайте с 02.04.2009
Offline
427
#1

hakerik2012, а с чего вы взяли что в нем "что-то не так"? Исключил страницы? Ну так роботс для того и нужен что-бы "исключать страницы".

Сделайте отступ перед User-agent: Yandex. А так с ним все в порядке.

Disallow: /page/ разве что лишние. Это закроет пагинацию.

[Удален]
#2

Ну а то что он исключает, я под АГС не попаду?

---------- Добавлено 09-12-2012 в 05:01 PM ----------

То есть там исключенные они всегда там будут да? Ну все мои статьи попали в Яндекс

microCD
На сайте с 07.12.2010
Offline
78
#3
hakerik2012:
Sitemap: http://zenschina.ru/sitemap.xml

Что ему не так? Что нужно убрать от сюда?

Спасибо за внимание!!!

Вот подумайте хорошенько, что нужно вам оставить в индексе. Поймите - что бы вы хотели дать поисковику?

Отталкивайтесь от такого значения.

Теги нужны:? Нет. Почему? Дубли!

Админка нужна? Нет. Почему? Она не релевантная и не предназначена для поиска.

И.Т.Д

Посмотрел в принципе все нормально, но зависит от сайта. Есть сайты, на которых нужно что то больше скрыть, дабы поисковики обратили внимание на главное.. А точнее мы подталкиваем их, например для того, чтобы они считали только контент или нужную его часть...

Юзайте, и учитесь делать все сами, так на много интересней :)

Услуга семантическое ядро на заказ (http://pyatko.ru/uslugi/?utm_source=%D1%81%D0%B5%D1%80%D1%87link1) | Статья как собрать семантическое ядро с Key Collector (http://pyatko.ru/key-collector-instrukciya/?utm_source=%D1%81%D0%B5%D1%80%D1%87link2)
[Удален]
#4

Блин большое вам спасибо!!!! Я хочу задать один вопросик от большого количества исключенных страниц под АГС я не попаду?

siv1987
На сайте с 02.04.2009
Offline
427
#5
hakerik2012:
Я хочу задать один вопросик от большого количества исключенных страниц под АГС я не попаду?

Не попадете.

[Удален]
#6

Спасибо вам!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий