My tut, skoree vsego, ne pri chiom. Eto lezhit tselevoi
server. V kakom procente sluchaev redir u vas ne rabotal
a stranitsa otkryvalas? Po moemu opytu - 0%.
Kto i kak eto mozhet ispolzovat?
V kakom smysle maskirovat? Vy verite, chto lyudi
chitaiut chto napisano v href=''? Ili chto v
nepolnoekrannom Explorere v 'status-bar'ovom okoshke
mozhno hot' chto-to prochitat?
Chem eto otlichaetsia ot такой маскировки? V smysle ot 'nikakoi'?
Esli vy saitu doveriaete, to na linki klikaete
s legkim serdtsem, a esli ne doveriaete, to
nikakaya maskirovka ne pomozhet, vy vsio ravno
budete klikat po neizvestnym ssylkam s opaskoi.
Strannaya ozabochennost vidom URL-a v HREF-e,
kotoryi dlya 'hakera' nikakogo znachenia
ne imeet:
<a
link="http://www.yahoo.com"
onClick="document.location.href='http://xxx.com'>
У-п-с. Извините за ошибку. Внесем.
Письмо на support@catalog.yandex.ru отправил.
Илья
Главный по этому сервису все равно Дима Завалишин. Так что считайте мои рассуждения мыслями вслух.
Для меня лично вопрос соблюдения "прозванивалкой" правил для роботов не совсем ясен. Я, например, не знаю, как ведет себя самый старый и известный сайт хранитель закладок - hotlinks.com. По идее, его поведение можно считать модельным.
поиск "hotlinks robots.txt" ничего не дал.
на сайте ничего на эту тему не написано.
Про аналогии и "двойные стандарты".
Аналогия с поисковым роботом неверна здесь по следующим причинам:
Очевидно, что пользователь сам, явным выраженным образом, попросил нас хранить и прозванивать свои закладки. В отличии от индексирующего робота, который автоматически находит ссылки, автоматически их скачивает и т.д. и т.п.
Чем поведение Я-Закладок в моральном смысле отличается от установленного локального модуля менеджмента и прозвона закладок (таких с десяток можно найти на 2cows)?
То, что техническое действие прозвона для вас выполняет Яндекс?
Это все?
Кстати у меня долго стоял автоматический нотификатор об изменениях любимой страницы на сайте w3c. Не помню название этого сервиса, но смысл его действий отчетливо себе представляю. И уверен, что наличие на сайте файла robots.txt, с моей, пользовательской, точки зрения, не должен был влиять на его работоспособность.
Думаю также, что аналогии с метапоиском (search parasite) явно неуместны. Метапоиск нарушал отчетливо выраженную нами просьбу _не_ использовать нашу Базу Данных для дальнейшего перепродажи. Эта просьба называется "лицензией". robots.txt был в той ситуации просто первым пришедшим в голову поводом для претензии.
В данном же случае речь идет о сервисе персонального использования с персональными же данными (список закладок). Ничья конкретно база данных для дальнейщего коммерческого использования не выкачивается.
Все что делает наш робот - верифицирует персональную БД пользователя.
То есть "не буква, но дух" правил про robots.txt не нарушается
IMHO,
Идем на http://www.yandex.ru/addurl.html
Читаем: "На этой странице предлагается единая форма для добавления сайта в поисковую машину и каталог Яндекса"
Там же лежит и форма с выбором категории и вводом названия сайта.
Короче говоря, случилось упрощение и объединение форм.
1. В настоящий момент "темами дня" являются (порядок действий: набрать www.yandex.ru, нажать Enter, в правом верхнем углу прочитать набранный русскими буквами слова):
Тема: Наводнение в Краснодарском крае
Тема: Наводнения в Европе
(далее щелкать мышкой по темам и читать текст запросов):
наводнение (краснодар | новороссийск) (гидрометеоцентр | МЧС)
наводнение -краснодар -новороссийск -россия -гидрометеоцентр -МЧС
Как видите, перед нами набор простых логических операторов. И никакого волшебства.
Проверить наличие сортировки по времени и убедиться в наличии разных агентств просто - надо читать строчки под заголовками:
14.08.2002 - 09:41 [НТВ.ру]
14.08.2002 - 09:29 [КоммерсантЪ]
14.08.2002 - 09:17 [Gazeta.ru]
14.08.2002 - 09:16 [НТВ]
14.08.2002 - 09:14 [ПРЕСС-ЦЕНТР.РУ]
14.08.2002 - 09:13 [Вести РТР]
3. Примеры, которые приведены AST - это же поиск "похожих новостей" - для каждой новости из новостного потока, попадающего на первую страницу.
Те кто посещал Я-новости за последние годы, обратили внимание на старый механизм поиска: брался заголовок и по нему запускался поиск по кворуму "{ЗАГОЛОВОК}//КВОРУМ". Последнее время мы добавили к заголовку поиск "похожего документа". Очевидно, первым (одним из)документом среди похожих должен быть сам образец. В противном случае нас просто засмеют. :)
Также очевидно, что ручная модификация запросов со злостной целью поднять те или иные агентства физически невозможна - заголовков в день под сотню.
Поиск связанных новостей по их заголовкам или при
помощи механизма поиска "похожего документа" не имеет
никакого отнощения к "теме дня".
Кстати, обсуждение "продажности" Яндекс-Новостей в теме про интервью Рамблера - типичный "злостный" оф-топ. :)
Если глубокоуважаемый AST хочет продолжить эту дискуссию, то я готов ответить на его претензии при условии:
1. Наличия отдельного треда для обсуждения. Я не согласен, походя, обсуждать "продажность" сервиса, которым пользуются до 50 тысяч человек в день.
2. Наличия максимально обоснованного обвинения со всеми возможными доводами.
3. Тщательного изучения самого предмета вопроса.
Всегда предлагали. Уж точно больше года.
Основная задача в данном контексте фильтрационная. Чтобы как можно больше новостей попало в "тему" из разных новостных агенств. Поскольку
разный агенства исользуют разную лексику, мы стараемся давать максимально широкие и, в то же время, точные термины.
Текст запроса обычно очень прост. Это несколько слов или фраз, разделенных опрератором "ИЛИ" ("|").
Интерфейс смены текста запроса прост и позволяет менять его оперативно буквально за секунды. В сочетание с тем (достатотчно уникальным, "антре ну" :)) фактом, что Я.Новости индексируются и скачиваются раз в 10-15 минут, это дает высокую гибкость и точность выделения темы, при максимально возможной полноте.
Например в прошлом году во время атаки на Нью-Йорк я лично менял тему примерно 7 раз в течении 1 часа.
Опять же "антре ну" :), я не знаю другого портала в мире, который бы имел при максимальной широте и представительности (если эти понятия относимы в принципе к отечественнной журналистике) в то же время достаточно точный и оперативный тематический новостной поток. Хотя бы и сделанный такими же весьма простыми средствами.
Сортируется новостная выдачи всегда по времени.
P.S.
Кстати, фантастические предположения о "продаже позиций" я ни в коем случае не считаю инсинуацией, предвзятостью или попытками нас опорочить :), скорее это связано с невнимательностью, общим технологическим невежством и этической расхлябанностью.
P.P.S.
К большому сожалению в интервью Влада было допущено много неточностей, причем именно в той части, когда он говорил про Яндекс. Я постараюсь прокомментировать, но не уверен, что у меня получится на этой неделе.
Посмотрим.
razmer indexa i ob'om proindexirobannyh textov
eto ne odno i tozhe
(sorry za volapiuk)
Ilya
Удаление происходит автоматически. Поэтому выражать недвольство Людмилой в некотором смысле абсурдно. А так - надо внимательно разбираться. Пишите на addurl. Илья
