Подскажите пожалуйста по robots

Роман
На сайте с 09.02.2012
Offline
63
748

Друзья подскажите где подправить Робота. Только сейчас увидел, что "страницы намеренно запрещены к индексированию или не должны индексироваться" (123 страницы). Епть большинство из них нужные к индексации. Мало того некоторые, что показывает Яндекс Вебмастер, уверенно стоян на выдаче. Или они до робота проиндексировались и теперь не слетают ? Короче что подправить в долбаном роботе страницы разрешались индексироваться.

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /tag/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

User-agent: Yandex

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /webstat/

Disallow: /feed/

Disallow: /trackback

Disallow: /tag/

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Host: toursector.org.ua

Sitemap: http://toursector.org.ua/sitemap.xml

Понятно, что все позиции (виллы, санатории, частные дома) должны быть в индексе, да и остальное. Я вообще не понимаю зачем чего то кроме внешних ссылок закрывать от индекса. Помогите плиз:gm:

Курорты западной Украины ( http://toursector.org.ua/ )
zharinov
На сайте с 26.02.2010
Offline
87
#1

Покажите какие страницы вам нужно разрешить к индексированию.

Ремонт автомобиля своими руками (http://delay-auto.ru) Сайт молодого художника (http://tvoirisynki.net.ua)
Роман
На сайте с 09.02.2012
Offline
63
#2
zharinov:
Покажите какие страницы вам нужно разрешить к индексированию.

Да все кроме внешних ссылок. Я не понимаю зачем вообще чего то прятать

zharinov
На сайте с 26.02.2010
Offline
87
#3

Прячут от индексации файлы вашего движка, а также во избежание дублирования контента. У вас вроде стандартный набор.

Вот только Disallow: /*?* - не знаю что означает

Роман
На сайте с 09.02.2012
Offline
63
#4
zharinov:
Прячут от индексации файлы вашего движка, а также во избежание дублирования контента. У вас вроде стандартный набор.

Вот только Disallow: /*?* - не знаю что означает

Disallow: /category/*/* - а это что спрятано ? (часом не http://toursector.org.ua/truskavec/villy/villa-zhasmin/)

Роман
На сайте с 09.02.2012
Offline
63
#5

Так что по роботу больше никто не подскажет

siv1987
На сайте с 02.04.2009
Offline
427
#6
Rymljanyn:
Disallow: /category/*/* - а это что спрятано ? (часом не

Часом можно проверится здесь http://webmaster.yandex.ru/robots.xml

Rymljanyn:
Я вообще не понимаю зачем чего то кроме внешних ссылок закрывать от индекса.

Кроме внешних ссылок на сайте есть еще служебный мусор, который боту не интересен,

и внешние ссылки в роботсе не закрываются.

O
На сайте с 30.08.2011
Offline
20
#7

Пользуйтесь:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /tag/
Disallow: /*?*
Disallow: /*?
Disallow: /wp-content/
Disallow: /wp-admin/
Disallow: /wp-includes/
Host: toursector.org.ua

Sitemap: http://toursector.org.ua/sitemap.xml

Будет всё ок.

Можно убрать "Disallow: /tag/", если метки нужны в индексе страницы с тегами.

"Disallow: /category/*/*" закрывал ваши посты.

ME
На сайте с 11.07.2011
Offline
71
#8

Достаточно стандартный robots от WP, возможно устаканился с установкой какого-либо seo плагина на cms.

Единственное, что удалил бы это:

Disallow: /category/*/*

Keep moving
На сайте с 20.10.2009
Offline
94
#9

Вот тут нормальный роботс, у меня всё индексируется как надо:

http://cms-wordpress.ru/kak-sozdat-optimalnyj-fajl-robots-txt-dlya-wordpress/

zharinov:
Вот только Disallow: /*?* - не знаю что означает

Это если ЧПУ включено, чтобы исключало урлы одного из видов (со знаком вопроса).

Роман
На сайте с 09.02.2012
Offline
63
#10
MixEg90:
Достаточно стандартный robots от WP, возможно устаканился с установкой какого-либо seo плагина на cms.
Единственное, что удалил бы это:
Disallow: /category/*/*

Благодарю, так и сделал

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий