wolf

wolf
Рейтинг
1183
Регистрация
13.03.2001
Должность
интернет-маркетинг, SEO

lika,

lika:
Возможно, это так. В свое время это не проверилось, а сейчас уже поздно. Но почему Гугль не удалил весь сайт из кэша, когда обнаружил запрещающий роботс, как это сделал Яндекс?

А если взглянуть на вопрос с такой стороны - когда робот делал последнее обращение к документам, это было разрешено. Теперь обращения ему запрещены. Он их не делает. Но это ведь не ставит вне закона те копии документов, которые он собрал без нарушения директив.

lika:
Может быть, Гуглю нажно больше времени (например, месяц), чтобы начать выполнять директиву robots.txt?

А вы поглядите на даты кешей этих страниц - наверняка они посещались роботом еще до появления запрещающих директив

Revan:
Но тем не менее автоматические пауки обязаны (причем насколько я слышал, не 100% что правда, но именно обязаны) слушаться robots.txt. Ну, в реале то понятно, что просто умный очень и с черными оптимизатоарми так борется. %)

А не факт, что роботы его не слушаются. Файл запрещает обращение к документам, но Гугль часто публикует их URL'ы и может даже неплохо ранжировать благодаря ссылочному. Использовать ведь информацию о внешних ссылках на документ файл robots.txt ведь не запрещает.

6666:
Наоборот!

Наоборот - это в каком смысле? Рисовать отказываетесь? :)

Vetra:
wolf, у них там сцециальный шахматный клуб, вместо обычных деревянных фигур - рюмки, на которых нарисовано что это, конь там, или пешка, а наполнены они вотткой, побил фигуру - выпей содержимое

Понятно. Сдается мне, что в таком случае любимый стиль игры чеховских шахматистов - быстрые размены фигур. :)

А по сабжу - чё-то опять холодно, блин. С утра на градуснике было -28. Машину решил не заводить.

6666:
ВСЕ....ТОПИК ЗАКРЫВАТЬ, ЗАКОНСЕРВИРОВАТЬ И ВНЕСТИ НАВСЕГДА В АРХИВЫ..ВСЕ..

Почему так мрачно? Хотя, некоторые ловеласы действительно разрезвились. Начали бы кое-чем меряться - пришлось бы закрывать. А так пока вполне всё пристойно. Пока можно продолжать. :)

Денис - с Вас живописный шедевр на основе фотографии RedRose. ;)

skat:
это модератор не разобрался, я просил добавить в "день открытия форума SE" дату, а он добавил новый пункт в опрос. сорри, нот май фолт...

Модератор разобрался. Данный форум родился раньше, чем был зарегистрирован домен searchengines.ru, просто он жил на другом домене. Во всяком случае, датой рождения форума можно считать дату регистрации первого пользователя - Gray - 23.10.2000

Ceres:
Ура! Уже прогресс!

Она, наверное, читала, что Денису натурщицы позируют только под бдительным оком его жены... :)

Miha Kuzmin (KMY):
Не знаю таких семитских личностей.

Как? Ботвинника не знаешь? Что у вас там за шахматный клуб?

Miha Kuzmin (KMY):
wolf, я по другому не умею, пешки тыркать не обучен !

Хе-хе! Михал Моисеич на твоем месте давно б уже сдался... :)

Всего: 24501