Для примера: Весь интернет Сочи.
Смысл делать, если занимать этим на совесть (постоянно и кропотливо), есть, - большими каталогами охвачено хорошо если 10% (а то и меньше) региональных сайтов (еще хреновее отслеживается переезд, смерть таких сайтов), еще меньше их появляется в зоне видимости больших поисковиков.
Нормально - это в детсадовской песочнице, когда жестко забито множество релевантных сайтов и отсутсвует "шум". А так - хреново ищет (перепроверял неделю назад - никакого прогресса).
Скорее всего нет. См. http://romip.ru/russir2009/slides/yandex/lecture.pdf , слайд 29.
В том числе и создатели сервиса :]
По запросу "Ростов" в топе засилье транспорта (прям из первой категории по порядку, "авто"). По запросу "Библиотека" на второй позиции стоит сайт с единственным упоминанием слова "библиотека", причем сайты библиотек стоят ниже. По запросу "европа+" отъедает + и ищет просто "европа", по запросу "мэрия" первые три результата подсвечивают "мэр" (что не есть мэрия)...
Запрос "Ростов" - найдено 0 документов, заценивать пока нечего.
Для хорошего поиска бесплатного лимита недостаточно, а вот качество поиска Флексума каких-либо денег не стоит, имхо.
Опередил ?! Если этой фичи нет, то это сейчас не поисковик :)
Уже несколько лет есть в открытом DataparkSearch.
А невоспитанные быстро попадают в бан и получают репутацию если не malware, то корявого софта.
robots.txt относится ко всем системам, автоматически (без участия человека) извлекающим страницы из интернета, вне зависимости поисковик это или нет. Тот же Mediapartners-Google, бот, определяющий какую контекстную рекламу показывать, тоже не поисковик, но robots.txt соблюдает.
Какая статистике и чему не релевантна ?
Имелся в виду поиск по блогам,
В общем я не увидел ничего нового о Гугле, пролетевшего мимо моей подписки в Гугл ридере, но в вашем канале мусор таки начествует, немного правда, но достаточно для некомфортного ощущения.