Maxime

Рейтинг
65
Регистрация
29.03.2003
lagif:
А у меня строка поиска неактивна. Так и надо?

Да, судя по описанию на сайте, поиск ещё не реализован. Там тольео демонстрируются "понятия" и указываются источники, где это "понятие" найдено. Поиск обещают сделать позже.

По запросам "промышленное оборудование" м "лечение позвоночника" не могу получить результаты, отображается только шапка формы, затем выдерживает паузу, пока не истечет таймаут и всё прекращается. Броузеры: Mozilla и Konquerror. Другие запросы нормально отдают страницы с результатами.

Neformat:

А вообще соглашусь с Алексеем: либо делайте нормальные сайты (то есть выдерживающие "натиск" ботов, полезных в плане последующей отдачи посетителями), либо блочьте их и оставайтесь без "лишнего" трафика. Решайте сами: иметь или не иметь. (с)

Есть третья альтернатива: делать нормальных ботов. Директива Crawl-delay была предложена, если не ошибаюсь, в 1999 году, года Вебальты и в проекте не было. Очень странно, что новый поисковик в 2006 году её не поддерживает - ошибка проектирования ?

euhenio:
А яндекс научился капчу распознавать? :D

Спокойствие, эт у них оно не сразу закрыто было, а Яндекс - пострел :)

Доройгой Алексей, вы сейчас похожи на юнца, матерящегося в публичном месте для ощущений собственной крутости и утвержавшего, вот я тут с малолетки денжат стряс - видите, меня не поймали, значит за грабёж не сажают :)

Прочтите лучше этот документ, он ответит на все ваши вопросы:

http://en.wikipedia.org/wiki/Wikipedia:Bots

И в http://en.wikipedia.org/robots.txt есть комментарий:


Please note: There are a lot of pages on this site, and there are
some misbehaved spiders out there that go _way_ too fast. If you're
irresponsible, your access to the site may be blocked.
Алексей Гурешов:
http://www.webalta.ru/search?q=site%3Aen.wikipedia.org

вопросы?

Ха-ха, рассмешили :) Логика вас тут подвела. Эта выдача доказывает, что вы википедию идексировали, и судя по всему до 7 июля, - насколько осилил листание, сначала шли страницы с датой изменения 7 июля, потом 6 июля, потом пошло 5-е... Никаких подтверждений, что вас не забанили, или не забанят, пока не начнёте соблюдать crawl-delay это не даёт ):D

Вы админам сайта отпишите, так мол и так, мы crawl-delay не поддерживаем, но вас идексить будем, несмотря на ваше полиси - любой нормальный сайт должен это выдеражать. Вот на ответ я бы хотел посмотреть :)

Алексей Гурешов:
Грыбочек, а Вы не думали что большим сайтам вообще чхать на бота? Его несколько тысяч даже если десятков тысяч хитов никто не замечает.

Я бы не назвал wikipedia.org мелким сайтом, но все боты, не понимающие crawl-delay, им банятся, не взирая на ранги. Эт у них в полиси прописано. Как я понимаю, Вебальта эту команду не разумеет.

Судя по всему, определяет по гео-базе ip-адресов. Во всяком случае все региональные сайты на хостингах в других городах пролетают мимо поиска в регионе.

Accoona - американский поисковик, по евроньюс показывали сюжет об открытии европейского подразделения. Его самого в штатах открывали пару лет назад, на открытие приглашали Клинтона (уже бывшего президента). Основной упор делали на индексацию правительственных сайтов США. Скорее всего из-за этого и Гугля сделала свой поиск по правительственным сайтам.

Всего: 237