Кому мешал анализатор или Яндекс сдерживает развитие Рунета?

Согласен

[This message has been edited by wolf (edited 17-09-2001).]

Мне тоже отрубили доступ.

Пытался боротся. Через прокси.

Мстами получается. У него есть списки проксей(анонимных, искожающих... т.е. те кто нормально не передает HTTP_X_FORWARDED_FOR) которым он не дает результатов.

На самом деле все из-за трафика и рекламы все происходит. Плюс может какие другие причины.

На банеры не влияет скорее всего так как изображения не грузятся, а вот на текстовые ссылки в середине результатов поиска очень влияет.

У меня вопроc к товарищам из Яндекса.

Есть ли возможность сделать какой либо интерфейс для наших роботов или нет?

------------------

Пожалуй этого достаточно.

Как всегда, во всем виновато стремление срубить побольше бабла...

А если робота замаскировать под какой-нибуль браузер?

Пробовал по разному и понял что он сечет по ip. Это точно.

Кем я только не прикидывался и explorer'ром, и netscape'ом, и с куками работал и понял что все таки ip.

Так как у моего сервра ip один и тот же они его забанили.

Так как с проксями какое-то врем было все нормально. После Яндексовцы и начали их отстреливать. Теперь если появляеться новый анонимный или искажающий сервер, какое-то время он работает до того момента пока товарищи из моего любимого всей душой Яндекса не занесут его в свой черный листочек.

Вот. Есть пару идеек как это обойти. Буду пробовать, если товарищи не предоставят легального пользования их сервисом для мета поисковиков.

Да. Не цивилизованный у нас народ, не цивилизованный. Ну ладно подрастут умнее станут. Подождем.

------------------

Пожалуй этого достаточно.

Добрый день всем.

1. Отношения метапоисков с поисками должны быть урегулированы. Как это сделано во всем мире.

2. 2Вячеслав. Вы, не спрашивая нас, в течении долгого времени, нарушали явно выраженную нами (см файл robots.txt) просьбу не скачивать данные с нашего сервера. В ответ на Ваши молчаливые действия, мы стали совершенно стандартным образом возвращать вашему агенту код 403. Это по стандарту HTTP означает, что данные на сервере имеются, но для данного пользователя доступ к ним запрещен. Не совсем понятно, почему вы не предприняли попытки связаться с нами. Зачем эти двойные (тройные) кросспостинги своей жалобы? (на этом форуме, на форуме Яндекса и у себя). Поверьте _мы внимательно читаем всю почту_, приходящую на webadmin. И отвечаем на нее.

3. Безусловно цивилизованные отношения между поисками и метапоисками возможны. Надо лишь соблюдать мирный, доброжелательный настрой и не раздувать из обычного конфликта интересов какой-то чуть ли не межнациональный конфликт

Материалы по теме:

Яндекс закрывает доступ украинцам. Где объяснения?

http://media.topping.com.ua/scandals/2001/09/15/0023930.html

Лицензия Яндекса, явным образом противоречащая способу использования Яндекса на сайте topping.com.ua.

http://www.yandex.ru/info/termsofuse.html

"Яндекс не разрешает менять дизайн страницы выдачи, т.е. страницы результата поиска."

Постинг Вячеслава на форуме Яндекса и ответы на него.

http://forum.yandex.ru/index.xhtml?id_note_forum=57197

Здесь утверждается, что не существует метапоисковых систем, использующих NorthernLight или Google:

http://www.lib.berkeley.edu/TeachingLib/Guides/Internet/MetaSearch.html

"None of them [meta-search engines] searches Google (unless they pay) or Northern Light (ever)."

А здесь утверждается, что между метапоисками и поисками проводятся переговоры, результатом которых становится "включение" или "невключение" тех или иных поисковых машин в метапоисковые результаты:

http://www.indiana.edu/~librcsd/search/meta.html

"Negotiations between the meta-search engine companies and the individual search engine companies may also result in a major search engine being excluded from a meta-search engine"

С уважением,

Илья Сегалович

А вот этот пунтк был выполнен:

http://www.yandex.ru/info/termsofuse.html

Если вы используете нашу поисковую машину для продажи услуг по поиску и/или навигации по Сети, вы должны уведомить об этом пользователя и дать ссылку на Яндекс (www.yandex.ru).

------------------

Пожалуй этого достаточно.

Как говорил дедушка Крылов, "у сильного всегда бессильный виноват". Эх, собрались бы все админы, да запретили бы свои сайты на индексацию роботу со звучным именем yandex, вот бы эти пижоны попрыгали бы! Жалко, что этого никогда не будет...

Обойдем стороной вопрос, кто здесь сильный и как используется robots.txt.

Но если кто-то имеет в далеких планах организовать поиск по данному сайту или форуму, он будет иметь что узнать нового.

Ребята, вы, похоже, просто не поняли - я вчера Славе пытался объяснить в асе, судя по отсутствию сообщений от него, он понял.

1. Поисковая система, - не будем называть конкретную систему, но для простоты назовем ее, скажем, Яндекс - это большой комплекс, некоторые части которого зачастую выпускаются из виду. А зря - они денег стоят. Попробую перечислить, как я себе это представляю:

- программное обеспечение - т.е. роботы, индексирующие сайты, база данных - точнее, именно ее программное обеспечение, алгоритмы поиска по базе, наконец, программное обеспечение сайта, через которое и осуществляется выдача.

- сама база, как совокупность данных, по которой осуществляется поиск.

- физические сервера - т.е., упрощенно, компьютеры, воткнутые в стойки на площадке и тоже, кстати, имеющие определенное программное обеспечение - ту же ОС.

- люди - как коллектив разработчиков, так и, вероятно, дежурный и технический персонал.

- каналы связи - т.е. техническое оборудование площадки М9, где стоят сервера Яндекса.

Так вот, уважаемые писатели метапоисковиков, постарайтесь понять, что на каждый элемент этой системы тратятся деньги, и немалые. Невозможно развивать одну часть - того же робота, без расходов на нагрузку серверов и загрузку каналов. А что делаете вы? В лучших традициях "Манифеста хакера" вы лезете своими скриптами - не всегда, кстати, корректно написанными - к программному обеспечению, выдираете ответ сервера и несете к себе, чтобы продать его пользователю, как свой. И после этого вы ждете, что тот, кто дает вам заработать на его работе, нормально к этому отнесется? Ага, сейчас.

Хотя вопрос можно решить мирно и не факт, что обязательно за деньги. А то Слава было пример с Буша взял, хорошо, что у него 50,000 резервистов нету, а то бы призвал.

Скажите, Илья, по каким критериям работа того или иного скрипта рассматривается Яндексом как "annoying behaviour" или, cпаси и избави, "sexual harassment"? Скажем, у меня возникла необходимость написать и запустить скрипт для исследования работы Яндекса как поисковой системы (например, для оценки релевантности). Где можно прочитать о том, как должен общаться скрипт с Яндексом, чтобы оба были удовлетворены?

Шутки шутками, а разобраться действительно сто'ит, потому что потребность в таких скриптах есть, и не только у меня.

Тогда давайте определимся, что такое дизайн. Отключение картинок в браузере -- это изменение дизайна? А смена разрешения монитора? Если вместо страницы будет выдана ее часть (без всякого изменения), считается ли это посягательством на дизайн?

Если уж идет отсылка на официальный документ, хотелось бы разобраться с терминами, которые в нем упоминаются.

С уважением,

Александр Садовский.

Согласен, но при условии что данная проблема существует, неплохо было бы написать какие нибудь правила.

Например:

мы не любим мета поисковики и путь таким к нам заказан

или

мы очень любим мета поисковики, но любим не бесплатно

а вот наверное фантастический вариант

мы любим их просто так

------------------

Пожалуй этого достаточно.