Yahoo! индексирует страницы закрытые в robots.txt?

352

Lor

19 июня 2007, 22:15

809

Такая тема уже была но она не "подымается".

Сегодня тоже заметил, что Yahoo! как ни в чем не бывало проиндексировал закрытые в robots.txt страницы:

User-agent: *

...

Disallow: /dir1/

...

Все страницы типа /dir1/* сейчас в индексе. :confused:

Написал им вопрос. Не знаю ответят или нет. Кто-нибудь может поделиться опытом?

Йопез - форум без модераторов. https://yopez.com

S

341

svift

19 июня 2007, 22:37

#1

Lor:
Написал им вопрос. Не знаю ответят или нет. Кто-нибудь может поделиться опытом?

Yahoo жрет гад всё подряд, не помогает даже совместное использование nofollow + robots.txt и хранит эти страницы месяцами...

Не все ссылки одинаково полезны ( https://www.svift.org/ ). Тут заказываю комментарии и отзывы ( https://qcomment.ru/ref/5651 ) для своих сайтов

352

Lor

19 июня 2007, 22:48

#2

svift:
Yahoo жрет гад всё подряд, не помогает даже совместное использование nofollow + robots.txt и хранит эти страницы месяцами...

В старом топике была идея использовать "Slurp" вместо "*" в Disallow.

S

341

svift

20 июня 2007, 00:40

#3

Lor:
была идея использовать "Slurp" вместо "*" в Disallow.

Можно наверное еще и метатегом попытаться закрыться... но я просто забил на это дело...