Еще раз про <noindex>

12
P2
На сайте с 16.09.2005
Offline
183
788

Ситуация: Яндекс проиндексировал некие страницы, которые яляются зеркалами

.../forum44/

.../forum44/?order=asc&sort=lastpost

.../forum44/ ?order=asc&sort=title

Эти страницы Яндекс "вытянул" по ссылкам сортировки, хотя были запрещены rel="nofollow"

В настоящее время такие ссылки (сортировки) удалены. При заходе бота Яндекса на сайт - се будет впорядке.

НО (!) - страницы базе остались.

Вопросы:

1. Как их базы Я удалить (вариант полного удаления страниц сайта из базы не прокатывает)?

2. Достаточно в будущем использование <noindex>...</noindex> чтобы избежать подобное?

Sadie
На сайте с 11.04.2005
Offline
64
#1
Pavel2005:
2. Достаточно в будущем использование <noindex>...</noindex> чтобы избежать подобное?

rel="nofollow" учитывается только Гуглем и MSN

<noindex> - Яндексом и Рамблером

Если хотите, чтобы поисковики не ходили по ссылкам, придется пользоваться обоими извращениями...

Кстати, а не проще ли было запретить в robots.txt?

Новости без комплексов (http://www.kompleksov.net/) | ЖЖ (http://sad-sadie.livejournal.com/)
P2
На сайте с 16.09.2005
Offline
183
#2

Если Вы подскажете как в robots.txt запретить к индексированию ссылки типа "?..." (все страницы после знака "?") буду благодарен.

До сих пор не нашел решения.

На форуме много обсуждалось, но решения нет

D
На сайте с 22.02.2005
Offline
117
#3

Можно попробрвать проверять $_SERVER["REQUEST_URI"], и если там есть, к примеру, "?order" отдавать 404-ю ошибку. По идее, со временем страница должна будет удалиться из базы.

Sadie
На сайте с 11.04.2005
Offline
64
#4
Dimonius:
и если там есть, к примеру, "?order" отдавать 404-ю ошибку.

Ее же (страницу 404) тогда и пользователи увидят...

Pavel2005,

т.е. "/forum44/" оставить, а "/forum/?..." - нет?

P2
На сайте с 16.09.2005
Offline
183
#5
Dimonius:
Можно попробрвать проверять $_SERVER["REQUEST_URI"], и если там есть, к примеру, "?order" отдавать 404-ю ошибку. По идее, со временем страница должна будет удалиться из базы.

А как и где это можно сделать? Можно пример?

Спасибо

P2
На сайте с 16.09.2005
Offline
183
#6
Sadie:
Ее же (страницу 404) тогда и пользователи увидят...

Pavel2005,
т.е. "/forum44/" оставить, а "/forum/?..." - нет?

Да, именно так.

Только нужно учесть, что таких ссылок много разных. Я привел только один пример.

Мне нужно удалить все ссылки после знака "?"

Alex Kirillin
На сайте с 11.01.2004
Offline
105
#7
Pavel2005:
1. Как их базы Я удалить (вариант полного удаления страниц сайта из базы не прокатывает)?

Вариантов-то всего два:

1) Удалить сайт из индекса целиком, затем добавить его заново.

2) Сделать, чтобы все "лишние урлы" отдавали 404 и затем добавить их в аддурл (можно сделать ссылочную карту, поместить ее на какую-нибудь жирную страницу и подождать).

Второго варианта можно ждать до морковкиного заговенья, а первый вполне действенен и отрабатывает полностью за 4-5 апдейтов.

Pavel2005:
2. Достаточно в будущем использование <noindex>...</noindex> чтобы избежать подобное?

По идее и документации - достаточно.

Сам пользуюсь яваскриптом - мне так надежней.

Pavel2005:
Если Вы подскажете как в robots.txt запретить к индексированию ссылки типа "?..." (все страницы после знака "?") буду благодарен.

Обработать $_SERVER["REQUEST_URI"] и при появлении в урле "?" выдавать в <head> дополнительно <meta name=robots content="noindex, nofollow">. Что-то, типа такого:

if (strpos($_SERVER["REQUEST_URI"],'?')) !== false> echo "<meta name=robots content=\"noindex, nofollow\">"
Александр Кириллин «Аладна» - Студия дизайна / Разработка сайтов (http://www.aladna.ru/) «Аладна» - Поисковая оптимизация / Продвижение сайтов (http://seo.aladna.ru/)
D
На сайте с 22.02.2005
Offline
117
#8

Либо как Alex Kirillin написал, либо еще как вариант

if (strstr($_SERVER["REQUEST_URI"], '?')) {

header("HTTP/1.0 404 Not Found");

}

Код должен стоять до начала вывода html страницы.

Sadie, поьзователи увидят нормальную страницу, только код будет не 200, а 404, что и надо поисковику для удаления, еще можно жестче поставить 410 Gone

Alex Kirillin
На сайте с 11.01.2004
Offline
105
#9
Dimonius:
header("HTTP/1.0 404 Not Found");

Вот не стал бы я 404 ставить, если пользователь должен увидеть контент.

Можно случайно своротить подводный камень, уже был такой случай в моей практике.

M
На сайте с 21.11.2004
Offline
230
#10
Sadie:
rel="nofollow" учитывается только Гуглем и MSN

Мсн всеяден.

Продвигаю домены руками (http://roke.ru)
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий