Noindex или robots?

K7
На сайте с 22.10.2009
Offline
26
896

Есть сайт. Движок на WP. В robots.txt запрет на индексацию /page/. В Platinum SEO Plugin стоит noindex на страницы этого же вида. Теперь в Я панели показывает, что половина запрещено в robots, а половина тегом noindex. Как лучше сделать, что оставить?

Dmitri44
На сайте с 31.10.2011
Offline
36
#1

Оставляй robots.txt. Он важнее, чем плагин.

ICQ: 557-975-506
WebAlt
На сайте с 02.12.2007
Offline
266
#2

Для Google важнее метатег.

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=93710

<meta name="robots" content="noindex">

Чтобы полностью исключить вероятность появления содержания страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex. Если робот Googlebot начнет сканировать страницу, то обнаружит метатег noindex и не станет отображать ее в индексе.

http://www.google.com/support/webmasters/bin/answer.py?hl=ru&answer=156449

robots.txt

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс. В результате URL страницы, а также другие общедоступные сведения, например текст ссылок на сайт или заголовок из каталога Open Directory Project (www.dmoz.org), могут появиться в результатах поиска Google.
LiteCat
На сайте с 03.05.2007
Offline
240
#3

Robots.txt для крупного сайта сработает быстрее - намного быстрее прочитать 1 строку из него, чем переиндексировать все страницы в NOINDEX. Но ничего не мешает для гугла и метатег прописать, если CMS позволяет это быстро сделать

Cuck
На сайте с 02.06.2011
Offline
110
#4
LiteCat:
Robots.txt для крупного сайта сработает быстрее - намного быстрее прочитать 1 строку из него, чем переиндексировать все страницы в NOINDEX. Но ничего не мешает для гугла и метатег прописать, если CMS позволяет это быстро сделать

Если закрывать страницы, то не имеет значение, когда и как быстро робот их прочтет. До того, пока он не зайдет на страницу, он ее в индекс не пустит. Соответственно зашедший на нее прочитает noindex и не проиндексирует.

K7
На сайте с 22.10.2009
Offline
26
#5

Чтобы индексировались картинки мне нужно, а вот чтобы бессмысленные архивы - нет. Если уберу с роботса /page/, директорию /2011/ нужно будет закрыть, из-за этого картинки не будут входить в индекс. Вот и не знаю как поступить...

sait.ru/wp-content/uploads/2011/10/kartinka.jpg
sait.ru/2011/09/page/14
KoDmAn
На сайте с 24.09.2009
Offline
42
#6
kostik789:
Чтобы индексировались картинки мне нужно, а вот чтобы бессмысленные архивы - нет. Если уберу с роботса /page/, директорию /2011/ нужно будет закрыть, из-за этого картинки не будут входить в индекс. Вот и не знаю как поступить...

Не туда копаете. Про картинки:

или так

Allow: /wp-content/uploads

Disallow: /wp-content

или так

Disallow: /wp-content/plugins

Disallow: /wp-content/cache
Disallow: /wp-content/themes
bla-bla-bla
Allow: /wp-content/uploads
Cuck
На сайте с 02.06.2011
Offline
110
#7

kostik789, не закрывать страницу целиком в роботс.

K7
На сайте с 22.10.2009
Offline
26
#8

А никто не знает почему стоит в директории картинок после uploads год 2011 и месяц, на некоторых блогах видел что нет года.

01
На сайте с 29.10.2011
Offline
22
#9
Noindex или robots?
Есть сайт. Движок на WP. В robots.txt запрет на индексацию /page/. В Platinum SEO Plugin стоит noindex на страницы этого же вида. Теперь в Я панели показывает, что половина запрещено в robots, а половина тегом noindex. Как лучше сделать, что оставить?

Правильный ответ у WebAlt:

Для Google важнее метатег

Гуглу давно наплевать на инструкции robots.txt.

Собственно, как и другим ботам.

А никто не знает почему стоит в директории картинок после uploads год 2011 и месяц, на некоторых блогах видел что нет года.

Смотрите в настройках WP: Settings -> Permalinks

Здесь настройте по-своему усмотрению, отказавшись от Day and name и Month and name, если не хотите разбивать контент по дням-месяцам-годам

K7
На сайте с 22.10.2009
Offline
26
#10

Насчёт картинок в WP спасибо, сделал. А вот то, что ботам наплевать на robots - неправда. Пришёл к выводу, что лучше использовать и robots, и метатег.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий