robots.txt и гугл

786

Unlock

18 июля 2005, 05:19

395

Люди, помогите разобраться, я где-то не правильно что-то сделал или гугл забил на robots.txt

Ситуация следующая:

Выложил статьи в pdf и закрыл их через robots.txt следующим образом:

User-agent: *

Disallow: /articles/

Сегодня обнаружил что статьи в индексе. Где я накосячил?

Есть желание, - тысяча способов; нет желания, - тысяча поводов! /Петр-I/.

132

Nikolaich

18 июля 2005, 05:22

#1

Abort trap (no core dumped)

Bus error (core mailed)

- - найден по ссылке

Похожие документы

Глюк!:)

Бабло побеждает зло.

132

Nikolaich

18 июля 2005, 05:24

#2

Unlock:
Люди, помогите разобраться, я где-то не правильно что-то сделал или гугл забил на robots.txt
......
Где я накосячил?

Всё правильно...

По крайней мере так говорит спецификация...

786

Unlock

18 июля 2005, 05:29

#3

Самое интересно, что в другие папки (например со статистикой) гугл не лезет. Может сделать ссылки на статьи через javascript или не поможет?

132

Nikolaich

18 июля 2005, 05:34

#4

Я тут похожой темой заморачиваюсь: /ru/forum/22467