Нет, 18-го.
Было абсолютно всё тоже самое, за исключением строчки
Disallow: /templates
она была добавлена перед тем, как сообщить Яндексу о необходимости удалить эту директорию, а сегодня эту строчку заменил на
Disallow: /temp
для бота * (секции для бота Яндекса нет, для него должна действовать общая секция).
Ну начнём с того, что кто-то из Яндекса не только усиленно читает, но и усиленно владеет этим форумом :]
Во вторых, продолжаем эксперимент, коли вы готовы выгораживать Яндекс, обвиняя меня: меняем
на
Получаем: директорию /templates готов удалять, директорию /templates/ - отказывается. Проверял ровно пару минут назад. Хотя обе по стандарту подпадают под указаный шаблон.
Наверное перестанет банить сайты без решения суда, совсем :D
Его попросили удалить весь подкаталог, запрещеный в robots.txt - он отказался, не по стандарту проиндепретировав robots.txt
Поисковик ?! Скорее большой и развесистый дорвей...
Один из вариантов использования FAST Enterprise Search Platform
Ой зря ты про Австралию :) У Гугла там R&D центр в Сиднее, занимаются развитием технологии Google Maps (собственно Keyhole именно оттуда). На днях объявили о начале программы геокодирования Австралии и Новой Зеландии (т.е. через какое-то время карифанится с местными владельцами бизнес-листингов особого смысла уже не будет :). Местные проекты: websearch.com.au - полудохлый, ansearch.com.au вроде живой, и честно забирает все "лавры" чисто австралийского бизнеса. Очевидно, что Я и Р там уже в пролёте по всем категориям, где хоть как-то пахнет деньгами. Ну а только на бесплатные сервисы хостинга, почты и открыток им не интересно, не филантропы чай :)
Технология Looksmart (вручную соcтавляемых листингов) безнадёжно устарела, и никого особо не интересует, дураков в эту нишу нет :D
Т.е. речь идёт о простом выкачивании документов из Сети и записи их в базу в сажтом виде, и никакого разбиения на слова и построения обратного индекса на этом этапе не происходит ?
Уже постоены и покруче, - ни Гугл, ни Яху от таких запросов и не чихают...
