Форум Поисковые системы Яндекс

знатокам robots.txt ? интересный вопросец :)

C
На сайте с 22.01.2004
Offline
56
Chernoff
497

в выдаче имеются следующие файлы...

www.некийсайт.ru:81/price_net/1price0.html

www.некийсайт.ru:82/emovie.htm

(обращаем внимание на выделленое жирным)

и как их запрещать то :) ?

заранее спасиб!

M
На сайте с 16.01.2003
Offline
129
mixb
#1

надо отлавливать обращения роботов по этим адресам с этими портами и отдавать код 301 или 404, тогда они сами из выдачи постепенно уйдут.

P
На сайте с 19.09.2004
Offline
22
pups
#2

www.некийсайт.ru:81/

www.некийсайт.ru:82/

а мож это два разных домена ?

[Удален]
#3

Это один и тот же домен вообще-то.

ND
На сайте с 19.08.2004
Offline
163
NyDEx
#4

pups, домен один, порты разные.

Chernoff, попробуйте прописать в robots.txt основное зеркало с 80-ым портом. Остальные порты по идеи должны запретиться к индексированию. http://www.yandex.ru/info/webmaster2.html

Кстати, зачем у вас вообще другие порты открыты? Отдаете по ним разную инфу?

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
C
На сайте с 22.01.2004
Offline
56
Chernoff
#5

Ситуация следующая: сайту лет шесть и как он индексился, какие порты были открыты мне не известно...

я занимался переносом его на новый хостинг и с новой структурой и дизайном... особо не вникая, что за страницы были...думал старые не существующие все равно потрутся...

через некоторое время просматривая проиндексированные страницы обнаружил то о чем я писал выше...

в лоб их убить не удалось... :)

последняя ссылочка вродебы описывает мой случай :) попробуем...

большое спасибо откликнувшимся ...

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
C
На сайте с 19.09.2001
Offline
120
Cherny
#6

Можно почитать Administrator's Guide, а именно:

The Robot will simply look for a "/robots.txt" URL on your site, where a site is defined as a HTTP server running on a particular host and port number.

Т.е. в вашем случае для роботов сайты разные и по запросам к сайту на разных портах можно выдавать разные robots.txt. А дальше уже дело техники. ;)

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий