Вот у меня статистика за послений месяц по "импортному" сайту:
IBM/Almaden 6475
Google 505
OpenFind 8
Yandex (RUSSIA) 7
Inktomi 5
Lycos 4
Altavista 1
Просканировала, похоже, весь сайт - да некоторые страницы ещё и по 2 раза. Приходит почти ежедневно. Если она так шустро будет и в будующем работать - то флаг ей в руки.
Однако думается мне, ibm вряд ли будет делать "собственеый" se, скорее просто лицензировать технологий и индексы для 3rd parties. Но новой поисковке с хорошим и шустрым роботом я был бы рад
p.s. Подбор литературы вроде бы неплохой. Притом, судя потому что много .ps - литература научного характера. У нас ряд товарищей думаю займутся reverse engeneering
Скорей всего кому-то из маркетологов пришла в голову мысль, что для Яндекса это вредно. Трудно об этом судить.
Опять же подобные запросы не только создают дополнительную нагрузку на сервер, но и портят статистику самому Яндексу и его рекламодателям.
Есть гораздо цивилизованный способ подобной работы - вы обращаетесь к специальному скрипту, который по заданным вами параметрам генерит XML или HTML с результатами поиска без "воды". Многие импортные поисковки это практикуют. Когда дорастут наши?
На чём основана информация, что Гугл не индексировал? На основе логов сервера или отстутсвия посетителей оттуда? Неделя слишком мало даже для просто прихода робота, а включения в индексы придётся ждать дольше имхо...
p.s. Гугл регулярно и бесплатно берёт у меня страницы тысячами. Правда, у меня домен в .com хоть и русскоязычный (http://bestdeal.ralnikov.com - более 40K файлов).
Это не бред, а результаты действия вируса Red Worm. У нас таких строчек - сотни тысяч ((
Вот всякие not Mozilla like боты и агенты. Их немного в процентном отношении, в принципе.
AbachoBOT
Ad Muncher v4.21
ArchitextSpider
AST Comps
CGI
Charlotte/2.1.0 VM_ESA/2.4.0 CMS/15
cool-o-matic 1000
cosmos/0.8_(robot@xyleme.com)
Crawl_Application
Cuam Ver0.050bx
DSurf15a 11
Dual Proxy
EyeNetIE
Family Computer(compatible;Disk System;Family Basic V3)
GeoWhere CheckBot
Googlebot/2.1 (+http://www.googlebot.com/bot.html)
Gulliver/1.3
HLoader
HotJava/1.0.1/JRE1.1.3
IBrowse/2.2 (AmigaOS V45)
JustView/2.0
LexiBot/1.00
libwww-perl/5.48
libwww-perl/5.53
Lynx/2.5FM libwww-FM/2.14
Lynx/2.7 libwww-FM/2.14
Lynx/2.7.1 libwww-FM/2.14
Lynx/2.7.1ac-0.24 libwww-FM/
Lynx/2.7.2 libwww-FM/2.14
Lynx/2.8.1pre.11 libwww-FM/2.14
Lynx/2.8.2rel.1 libwww-FM/2.14
Lynx/2.8.3rel.1
Lynx/2.8.3rel.1 libwww-FM/2.14 SSL-MM/1.4.1 OpenSSL/0.9.5a
Lynx/2.8rel.2 libwww-FM/2.14
MetaGer-LinkChecker
Microsoft URL Control - 6.00.8862
MIIxpc/4.2
mirror site WebWasher 3.0
MOT-C2/4.1.8 UP/4.1.16s UP.Browser/4.1.16s-XXXX UP.Link/4.2.2.9 (Google WAP Proxy/1.0)
NCSA_Mosaic/2.6 (X11;IRIX 4.0.5F IP12)
None Of Your Business
Nonofyourbusiness/1.0 (CP/M; 8-bit)
nsa3/NiS I[gEch; r,fie3x; rec1e4]
Nutscrape/1.0 (CP/M; 8-bit)
Nutscrape/9.0 (CP/M; 8-bit)
Opera/4.02 (Windows 98; U) [en]
Opera/5.0 (Linux 2.2.12-20 i686; U) [en]
Opera/5.0 (Linux 2.2.14-5.0 i586; U) [en]
Opera/5.0 (Linux 2.2.15asl-2 i686; U) [en]
Opera/5.0 (Linux 2.2.16-22 i586; U) [en]
Opera/5.0 (Linux 2.2.17 i586; U) [en]
Opera/5.0 (Linux 2.2.18 i686; U) [en]
Opera/5.0 (Linux 2.2.19-6.2.1 i686; U) [en]
Opera/5.0 (Linux 2.4.2 i686; U) [en]
Opera/5.0 (Linux 2.4.2-2 i686; U) [en]
Opera/5.0 (Linux 2.4.3-20mdk i586; U) [en]
Opera/5.0 (Linux 2.4.3-20mdk i686; U) [en]
Opera/5.0 (Linux; US) [en]
Opera/5.0 (Macintosh;US;PPC) TP [en]
Opera/5.0 (SunOS 5.7 sun4u; U) [en]
Opera/5.0 (Windows 98; U) [en]
Opera/5.0 (Windows NT 4.0; U) [en]
Opera/5.01 (Windows 98; U) [en]
Opera/5.02 (Windows 95; U) [en]
Opera/5.02 (Windows 98; U) [de]
Opera/5.02 (Windows 98; U) [en]
Opera/5.02 (Windows NT 4.0; U) [en]
Opera/5.02 (Windows NT 5.0; U) [en]
Opera/5.10 (Windows 2000; U) [en]
Opera/5.10 (Windows 98; U) [en]
Opera/5.10 (Windows NT 4.0; U) [en]
Opera/5.11 (Windows 2000; U) [de]
Opera/5.11 (Windows 2000; U) [en]
Opera/5.11 (Windows 2000; U) [it]
Opera/5.11 (Windows 95; U) [en]
Opera/5.11 (Windows 98; U) [de]
Opera/5.11 (Windows 98; U) [en]
Opera/5.11 (Windows 98; U) [es]
Opera/5.11 (Windows 98; U) [fr]
Opera/5.11 (Windows 98; U) [nl]
Opera/5.11 (Windows 98; U) [ru]
Opera/5.11 (Windows 98; U) OCV11 [en]
Opera/5.11 (Windows ME; U) [en]
Opera/5.11 (Windows NT 4.0; U) [en]
Opera/5.11 (Windows NT 4.0; U) [en] WebWasher 2.1.1
Opera/5.11 (Windows NT 4.0; U) OCV11 [en]
Opera/5.12 (Windows 2000; U) [de]
Opera/5.12 (Windows 2000; U) [en]
Opera/5.12 (Windows 2000; U) [es]
Opera/5.12 (Windows 95; U) [en]
Opera/5.12 (Windows 95; U) [es]
Opera/5.12 (Windows 98; U) [de]
Opera/5.12 (Windows 98; U) [en]
Opera/5.12 (Windows 98; U) [en] WebWasher 2.2
Opera/5.12 (Windows 98; U) [en] WebWasher 3.0
Opera/5.12 (Windows 98; U) [es]
Opera/5.12 (Windows 98; U) [fr]
Opera/5.12 (Windows 98; U) [nl]
Opera/5.12 (Windows 98; U) OCV2 [en]
Opera/5.12 (Windows ME; U) [en]
Opera/5.12 (Windows ME; U) [fr]
Opera/5.12 (Windows NT 4.0; U) [de]
Opera/5.12 (Windows NT 4.0; U) [en]
Panelinio
Pockey/4.9.1(Win32; GUI; ix86)
Proxy-User
psbot/0.1 (+http://www.picsearch.com/bot.html)
RepoMonkey Bait & Tackle/v1.01
Schwule Madchen/0.02 [fu] (MsDos; X; SA)
Scooter-W3-1.0
ScoreBot/5 libwww-perl/5.53
SEC02 UP.Browser/4.1.22b UP.Link/4.3.3.1 (Google WAP Proxy/1.0)
Slurp/si (slurp@inktomi.com; http://www.inktomi.com/slurp.html)
SpaceBison/0.01 [fu] (Win67; X; ShonenKnife)
SpaceBison/0.01 [fu] (Win67; X; SK)
Unknown/1.0 (Unknown/1.0; 999-bit)
Web Downloader/4.5
Webster Pro V3.0 Webster Pro V3.1 Win32
Угу. Если с умом применить.
Форум сей похож имхо на snitz web forum. Можно найти и применить. opensource/freeware
Про хакера вы не въехали.
Вкратце так было: Elcomsoft написал программку для взлома защиты Adobe eBooks. Adobe по этому поводу настрочила ряд гневных писем элкомсофту, regnow.com & verio - провайдеру элкомсофта с требованием всё это убрать в момент. Как ещё выяснилось позже, пожаловалось в ФБР (рекомендую найти исходник отчёта спец. агента ФБР мистера О'Коннела на английском - это улёт... "тогда я с помощью компьютерной мыши нажал на ссылку на веб-узле и узнал, что...)
Программер из элкомсофта поехал на DefCon выступать с докладом по этой программке. Там-то на выезде его и повязали. Короче, ситуёвина такова, что этот Малдер хренов из ФБР ничего толком не понял. Но т.к. adobe - american, а элкомсофт - русские, то на всякий случай, видимо, его и арестовали. Чтобы нам неповадно было программки "неправильные" писать.
OK, спасибо!
Ну, смотря для чего применять ))
