Форум Сайтостроение Веб-строительство

яндекс и роботс.тхт

_
На сайте с 24.07.2002
Offline
299
_Ad
426

остатки старого сайта, которого нет уже два года как до сих пор болтаются в индексе яндекса в виде несуществующих ныне url.

вид у кривых урл такой:

www.site.ru/p=123

Добавил несколько месяцев назад в robots.txt запрет на индексацию следующего вида:

User-Agent: *

disallow: Disallow: /?p=*

однако яндекс чего-то не обратил на это внимание. Сейчас попытался через панель вебмастера удалить ненужное, однако к моему удивлению панелька сообщила, что для удаления из индекса подобных урлов "нет основания, так как не выдает 404 или нет запрета в роботс.тхт".. но запрет то есть!

вот сейчас думаю, как бы через htaccess заставить сервер выдавать на запрос урлов вида www.site.ru/p=* ошибку 404, чтоб уж наверняка.. А то сервер настроен так, что по умолчанию все 404 редиректит на главную..

никто не знает что нужно прописать?

orphelin
На сайте с 02.07.2006
Offline
261
orphelin
#1
_Ad:
Сейчас попытался через панель вебмастера удалить ненужное, однако к моему удивлению панелька сообщила, что для удаления из индекса подобных урлов "нет основания, так как не выдает 404 или нет запрета в роботс.тхт".. но запрет то есть!

у меня тоже была подобная проблема, нужно было удалить урл закрытый в роботсе. платон помог после письма.

_
На сайте с 24.07.2002
Offline
299
_Ad
#2

причем тут платон? Это вообще должно работать автоматом. Я задолбаюсь платону копипастить все урлы, которые нужно удалить.

хотя конечно напишу щаз в суппорт, что за хрень.. но так дела не делаются.

nofollow ссылки в 2023 Упал доход ПИН-код можно запрашивать не

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий