Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Не получается закрыть раздел от индексации

Musicathome
На сайте с 20.04.2012
Offline
109
Musicathome
527

Нужно закрыть от индексации раздел на сайте /portfolio

robots.txt на данный момент выглядит так: 

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /portfolio

Disallow: /index.php/fotogalereya/category/8-spalni



User-agent: Yandex

Disallow: /administrator/

Disallow: /cache/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /portfolio

Disallow: /index.php/fotogalereya/category/8-spalni

Но, к примеру, страница portfolio/category/27-lesnoj-proezd-4-b как была в индексе, так и есть. Кто знает, что не так? Может, я что-то не так сделал?

sentines
На сайте с 30.10.2013
Offline
25
sentines
#1

Вы этот раздел от дальнейшей индексации закрыли...

Если у вас есть ненужные страницы в индексе, делайте с них 301 редирект куда-нибудь, а если они нужны, ну просто ждите тогда.

Продвижение сайтов в Перми (http://a2-pr.ru/prodvizhenie-saitov/) Интернет-магазин строительных материалов в Перми (http://baza59.ru)
Musicathome
На сайте с 20.04.2012
Offline
109
Musicathome
#2

Подождите, таким способом можно закрыть только от дальнейшей индексации страницы сайта? А что нужно делать, если эти страницы нужно из выдачи убрать при условии, что сейчас они там есть?

ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#3

Musicathome, закрыть и ждать, пока переиндексируется, либо, если хотите ускориться, то отправить запрос на удаление содержимого в Google и в Яндекс (при этом страница должна быть закрыта в robots.txt). Гугл обычно удаляет меньше, чем за сутки, Яндекс дольше.

Размещу ваши статьи на сайтах с тИЦ до 1400 по 5$ (/ru/forum/846111) Сейчас многие ищут хостинг за пределами России. Ukrnames - один из лучших вариантов: (http://ukrnames.com/?ref_id=114) и лидер рынка, и привычно, и по-русски, и вне юрисдикции РФ.
Яндекс отказывается переиндексировать сайт Как правильно удалить страницу обновление старой страницы в
МIX
На сайте с 09.01.2010
Offline
48
МIX
#4

Robots.txt является прежде всего рекомендацией для робота.

Гугл на эту рекомендацию давно кладет болт.

Если хочется запретить вход в индекс, используйте метатеги на страницах <meta name="robots" content="noindex" />

https://developers.google.com/webmasters/control-crawl-index/docs/robots_meta_tag?hl=ru

Мои услуги: Удаление вирусов с сайтов (/ru/forum/914903)
ZoomY
На сайте с 07.11.2008
Offline
165
ZoomY
#5
МIX:
Гугл на эту рекомендацию давно кладет болт.

Видать, только у вас кладёт. У меня всё работает на "ура" и страницы при необходимости за двенадцать часов исчезают из индекса.

МIX
На сайте с 09.01.2010
Offline
48
МIX
#6
ZoomY:
Видать, только у вас кладёт. У меня всё работает на "ура" и страницы при необходимости за двенадцать часов исчезают из индекса.

Одно дело когда выкидываешь их из индекса, другое, когда они туда попадают, хоть и закрыты в роботсе.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий