Вопрос по robots.txt и закрытию от индексации.

А почему не хотите закрыть метатегом noindex, follow?

17 это разве много? зато для верности.

Вы предлагаете закрыть ссылки на рубрики ? А noindex только для яндекса вроде, или уже нет? Проблема же с Гуглом.

Я потому и завел тему, что не хочу заниматься подобными делами. Если у меня сайтов 50? И на каждом 20 рубрик? Необходим универсальный способ, который подойдет для любого сайта.

Жду еще варианты.

Затерялся еще один вопрос.

Почему запрещенные директивой Disallow: /category для User-agent: * категории все же проиндексировались Гошей? Google плюет на robots.txt, так как их бесчисленные сервера позволяют хранить огромные объемы ненужной информации?

Вам нужно в форум для новичков: Вы пока не в состоянии ничего понимать:))

Установите плагин All in One SEO , и в его настройках поставьте галочку "Use noindex for Categories"

На форуме для новичков люди не в состоянии ничего помогать 8)

Я немного напряг извилины и понял, что вы имели в виду. Закрыть страницы категорий, прописав сверху метатеги:

<meta name="robots" content="nofollow" />

<meta name="robots" content="noindex" />

или даже <meta name="robots" content="none" />

есть такой вариант?

Вот это достойный совет. Закрыл. Посмотрим, что будет дальше.

DaHuJIka добавил 11.10.2011 в 09:51

Замечательно, страницы категорий получили себе noindex.

как страницы сайт/категория/имя_категории, так и сайт/имя_категории

Platinum Seo Pack сработал.

теперь еще вопрос есть.

Страницы в индексе google, которые раньше были index,follow теперь стали noindex,follow сами вылетят при следующем проходе робота? Или удалять вручную через центр вебмастеров?

Сами. Но для чего Вам нофоллов на страницах категорий, я не догоняю.

Так я и не поставил nofollow. Мне хватило только noindex.

Просто сайт имеет структуру такую, что на все внутренние страницы (их 20 сейчас, будет около 40) идут ссылки с главной. Категории вообще для красоты нужны, не для навигации, но для исключения дублей поставить им noindex будет уместным. Как вы считаете?

Можно и все закрыть, но это если вы потом не будете в дальнейшем новые создавать, а то будет как-то не удобно постоянно обновлять!

Для началу вам нужно еще раз проверить структуру сайт, и еже определить!

Лучший вариант для теста это Доступ для сканерав панели вебмастера! Экспериментируйте!

Еще раз просмотрите почему дубли появились, что у вас за структура! И там будет уже решения проблемы! В роботе.тхт можно сделать все!

Решил апнуть тему, так как не все проблемы решились.

Вырезка из Robots.txt для user-agent:

User-agent: *

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /feed/

Disallow: /trackback

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /*?*

Disallow: /*?

Disallow: /category/*/*

Disallow: /category

Disallow: /wp-content/

Disallow: /wp-admin/

Disallow: /wp-includes/

Disallow: /comments

Как, объясните мне, Google умудрился проиндексировать страницы типа

/category/espresso/feed

или

/category/istoriya-kofe

если все это явно запрещено.

В инструментах для вм от Goggle robots.txt загружен и, более того, пишет, что доступ к страницам запрещен в строках 11 и 12, то есть именно в тех, где и должен. Более того, у страниц категорий я поставил noindex, чтоб наверняка.

Сразу отмечу, что если часть страниц категорий проиндексировалась до того, как был составлен грамотный robots.txt, то все же остальная часть категорий и страницы типа feed попала в индекс уже после.

Кстати, аналогичные инструкции прописаны для User-agent: Yandex и он проиндексировал и добавил в поиск страницы именно те страницы, что нужно.

Вопроса два:

Почему так вышло? Не хотелось бы повторять этих ошибок в будущем.

Что сделать теперь, что гугл выкинул на хрен страницы с индекса?