Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как закрыть от индексации профили пользователей

A
На сайте с 02.01.2010
Offline
92
alexvod
787

Добрый день!

Есть форум на движке SMF2. На форуме стоит ЧПУ. Сделал попытку закрыть профили пользователей от индексации через robots.txt ( Disallow: /profile/ ). В итоге часть профилей закрыта от индексации, а часть - нет.

Панель Яндекс.Вебмастер

Но до меня не доходит, почему закрыв от индексации /profile/ , часть профилей все равно остаются открытыми для индексации, хотя все эти адреса содержат /profile/. Может это просто глюк Яндекса?

K
На сайте с 31.01.2001
Offline
737
Kost
#1
alexvod:
Сделал попытку закрыть профили пользователей от индексации через robots.txt

Как давно ? Пару недель? Месяц?

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
MD
На сайте с 06.02.2011
Offline
124
MarkDuck
#2

мало времени прошло еще... страница из индекса могут продолжительное время выпадать

A
На сайте с 02.01.2010
Offline
92
alexvod
#3
MarkDuck:
мало времени прошло еще... страница из индекса могут продолжительное время выпадать

В панели Я.Вебмастера - "Анализ robots.txt" изменения действую сразу при проверке URL. Я проверил - добавляю Disallow: /*sitemap - карта сайта сразу становится запрещена к индексации. Убираю - опять разрешена.

MD
На сайте с 06.02.2011
Offline
124
MarkDuck
#4

alexvod, это как бы просто проверка будет ли индексироваться

не все так просто как вы думаете)

A
На сайте с 02.01.2010
Offline
92
alexvod
#5
MarkDuck:
alexvod, это как бы просто проверка будет ли индексироваться
не все так просто как вы думаете)

Так почему часть профилей будут индексироваться (и индексируются), а часть - нет. В чем разница? Как сделать, чтобы профили не индексировались вообще?

Почему

Disallow: /profile/

Не распространяется на

сайт.рф/profile/id37432968/?area=showposts;sa=attach;sort=posted;PHPSESSID=7hi7im449kpi5s4krssa027i02

Но закрывает от индексации

сайт.рф/profile/?area=statistics;u=475

Роботс. Запутали меня. Разве Как сделать чтобы кнопка Запрет индексации страниц, не
MD
На сайте с 06.02.2011
Offline
124
MarkDuck
#6

alexvod, просто закройте и ждите

A
На сайте с 02.01.2010
Offline
92
alexvod
#7
MarkDuck:
alexvod, просто закройте и ждите

А сколько примерно ждать? Я уже жду фактически с прошлой зимы. Запрет в robots.txt был установлен изначально, с момента установки форума (до индексации яндексом). С тех пор часть профилей периодически оказываются в индексе. Некоторые профили (если судить по кэшу Яндекса) появились в индексе 11.10.2011, то есть почти через год после закрытия Disallow: /profile/

Всего 941 Пользователей из них 178 - в индексе.

alexvod добавил 25.10.2011 в 18:40

Ларчик просто открывался. Ответ Платона

Здравствуйте, Алексей!

Рассмотрим на примере страницы /profile/id37432968/?area=showposts;sa=attach;sort=posted;PHPSESSID=7hi7im449kpi5s4krssa027i02

Этому адресу соответствуют два правила: "Allow: /*rss" и "Disallow: /profile/"

"Allow: /*rss" стоит выше, соответственно оно имеет больший приоритет, и страница считается разрешенной для индексирования.

И действительно, во всех проиндексированных адресах есть rss

/profile/?area=summary;u=384;PHPSESSID=7hi7im449kpi5s4krssa027i02

/profile/?area=statistics;u=475;PHPSESSID=7hi7im449kpi5s4krssa027i02

/profile/Anastasiya.Martinova/?area=showposts;sa=attach;PHPSESSID=7hi7im449kpi5s4krssa027i02

Проблема решена. Всем спасибо

Google: Будьте осторожны с Google и политика «нет Google Analytics за 20

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий