Yahoo! расширяет возможности файла robots.txt - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Старый 03.11.2006, 09:41   #1
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Посмотреть профиль пользователя в МоемКруге Дневник на Я.ру Профиль в ВКонтакте Профиль на Хабрахабре

По умолчанию Yahoo! расширяет возможности файла robots.txt

http://www.ysearchblog.com/archives/000372.html

Добавлена поддержка * и $.
* означает любой набор символов
$ используется как знак конца URL

Пример 1
Код:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Disallow: /*?sessionid
1) Разрешает индексацию всех каталогов, начинающихся с 'public', например, '/public_html/' или '/public_graphs/'.
2) Запрещает индексацию всех файлов и каталогов, содержащих html-документы и строку '_print' в URL, например, '/card_print.html' или '/store_print/product.html'.
3) Запрещает индексацию URL, содержащих '?sessionid'


Пример 2
Код:
User-Agent: Yahoo! Slurp
Disallow: /*.gif$
Запрещает индексацию всех файлов, URL которых заканчивается на .gif
__________________
С уважением, Константин Ермаков,
absite.ru: онлайн кроссворды;
searchsuggest.ru: поисковые подсказки доставляют.
K. Ermakov вне форума   Ответить с цитированием

Реклама
Старый 03.11.2006, 09:47   #2
СКОРПИОН
Михаил aka СКОРПИОН
 
Аватар для СКОРПИОН
 
Регистрация: 05.01.2006
Адрес: Третий Рим
Сообщений: 2,102
Репутация: 125722

По умолчанию Re: Yahoo! расширяет возможности файла robots.txt

Интересно!
Плюсомёт не работает, жаль...

Вот только один вопрос возникает, почему бы всем этим новаторам не ввести вместо robots.txt, например, yahoo.txt или yandex.txt. И себе жизнь облегчат и стандарты нарушать не будут. А то в сложных проектах robots уже на несколько страниц тянет, из-за отдельного описания под каждый бот...
__________________
Контекстные ссылки с внутренних страниц навсегда
• Качественные сайты для заработка на контекстной рекламе и ссылках
СКОРПИОН вне форума   Ответить с цитированием
Старый 03.11.2006, 09:59   #3
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Посмотреть профиль пользователя в МоемКруге Дневник на Я.ру Профиль в ВКонтакте Профиль на Хабрахабре

ТопикСтартер Re: Yahoo! расширяет возможности файла robots.txt

Цитата:
Сообщение от СКОРПИОН
А то в сложных проектах robots уже на несколько страниц тянет, из-за отдельного описания под каждый бот...
А такой robots видели?
http://www.webmasterworld.com/robots.txt
(впрочем, баян баянистый)
K. Ermakov вне форума   Ответить с цитированием
Старый 03.11.2006, 13:37   #4
organic
Профессор
 
Аватар для organic
 
Регистрация: 08.11.2004
Сообщений: 655
Репутация: 29294

По умолчанию Re: Yahoo! расширяет возможности файла robots.txt

Цитата:
Сообщение от K. Ermakov
А такой robots видели?
http://www.webmasterworld.com/robots.txt
фигасе... т.е понятно, что роботам они вот это дают http://www.webmasterworld.com/robots2

K. Ermakov, а зачем такая хитромудрость? Я имею в виду не сами манипуляции с robots.txt а именно то что они с ним сделали - какая то группа новостей прямо

Последний раз редактировалось organic; 03.11.2006 в 13:59..
organic вне форума   Ответить с цитированием
Старый 03.11.2006, 13:39   #5
Каширин
Константин
 
Аватар для Каширин
 
Регистрация: 03.01.2004
Сообщений: 13,230
Репутация: 1483652

По умолчанию Re: Yahoo! расширяет возможности файла robots.txt

K. Ermakov, Костя, введение Яндексом директивы Host привело к тому, что блок с такой директивой игнорируется Googlebot. Будет ли аналогичная ситуация в данном случае?
Каширин вне форума   Ответить с цитированием
Старый 03.11.2006, 14:20   #6
K. Ermakov
Академик
 
Аватар для K. Ermakov
 
Регистрация: 10.12.2004
Адрес: Kronshtadt
Сообщений: 6,298
Репутация: 160424
Социальные сети Посмотреть профиль пользователя в МоемКруге Дневник на Я.ру Профиль в ВКонтакте Профиль на Хабрахабре

ТопикСтартер Re: Yahoo! расширяет возможности файла robots.txt

Цитата:
Сообщение от organic
т.е понятно, что роботам они вот это дают http://www.webmasterworld.com/robots2
А если зайдёте с User-Agentом, например, Slurp, то и по адресу http://www.webmasterworld.com/robots.txt получите другой файл. Клоачат они бессовестно!

***
Каширин, с учётом поддержки Гуглом директивы Allow: и * с $, думаю, проблем не будет.
K. Ermakov вне форума   Ответить с цитированием
Старый 03.11.2006, 15:31   #7
Bloody dude
Очевидец
 
Аватар для Bloody dude
 
Регистрация: 16.03.2006
Адрес: Україна
Сообщений: 881
Репутация: 9045

По умолчанию Re: Yahoo! расширяет возможности файла robots.txt

Это все, конечно, хорошо, но кооперативное движение начинает утомлять. Роботс.тхт уже каждая приличная машина читает как хочет, предлагая добавлять туда то, что она хочет. Мета-тэги у каждой со своими особенностями. Редиректы хотим понимаем, не хотим - не понимаем...
Конечно, не велика проблема для каждого бота писать отдельный блочок в роботс.тхт. Получится всего-то навсего

UA's:
Yandex
Rambler
Google
Yahoo
MSN (а на Live передадутся ВСЕ особенности?)

И для каждого знаков эдак по 500...

И толпа всяческой мелочевки. Если человек сравнительно в рынке, то нет вопросов. А толпа веб-мастеров тупо напишут роботс.тхт по стандартам, на которые, оказывается, давным давно забили все, кому не лень.

Кто-нибудь вообще обновит стандарты хоть когда-нибудь? Тем более, что если искалки устроили всю эту пионэрию, значит, проблема действительно существует...

А народ на вебмастерворлде просто стебется со всего этого безобразия. Они ж там еще и тэг google pray когда-то лепили
Bloody dude вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 02:38. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны