4LF

ээээ...

я думал про кластеры на винте (типа чем больше кластер тем меньше голока винта юрзает в начало винта/ищет адреса/...), т.о. скорость чтения увеличивается (хотя 60мб/с не думаю что удастся сильно поднять)

можно размерчик этого кластера :))

так решусь поднять тему...

грубо говоря структура индеса:

слово (в НФ) -> список страниц (возможно указание позиции и форма слово = число падежь...)

поэтому %hash слов (каждое слово сожержит указатель на начало массива/списка страниц)...

дальше не могу представить как хранить эти массивы страниц...

-была мысль в хэше слов хранить сериализованный (ну как в php = массив2строка) массив страниц. Но это выходит что строки эти будут измеряться метрами (допустим в словаре будет 300 000 слов * 2М ~ 300ГБ). В принципе 300ГБ на raid массиве это не проблема.

Но меня волнует скорость индексирования = извлечь массив, deserialize, вставить индекс страницы, serialize, обновить значение хэша (а если еще и сжатие строки применять...)

-еще можно в памяти индексатора держать хэш слов (у каждого слова уникальный word_id) и хэш страниц (тоже page_id) и составлять тоже типа хэша (имя элемента word_id, значения page_id, и потом word_pos... ) но проблема в том что и хэш слов и страниц пополняется (хэш слов не так быстро, а вот хэш страниц...), тогда придется делать индексатор демоном (а у меня сейчас crawler запускает indexer при каждой новой страничке)

жаль...

скрипт написал, потом стал становится на такие вот грабли... начал рыть, потом верить в чудеса :)....

я немного подругому сделал...

я подавал на вход урл без базового... (ваша мысль с $base мне ольше нравится)

$host->{name} = например site.ru

$host->{www} = некоторый сайты не отвечают без www = поэтому приходится смотреть вдруг ссылка указана абсолютная да еще и с www

#

# analyseURL($url)

#

sub analyseURL

{

    $_[0] =~ s/\n//;

    my $url = $_[0];

    if ( substr($url, 0, 1) eq '#' || $url =~ /mailto:|javascript:/i )

    {

        return 0;

    }

    

    # search http:// or www. or http://www.

    if ( $_[0] =~ /^http:\/\/www\.|^http:\/\/|^www\./i )

    {

        if ( $_[0] =~ /^http:\/\/(www\.$host->{name})|(^http:\/\/$host->{name})|(^www\.$host->{name})/i )

        {

            if ( defined($1) || defined($3) )	# http://www.$host or www.$host

            {

                $host->{www} = "www.";

            }

            elsif ( defined($2) )			# http://$host

            {

                $host->{www} = "";

            }

            $_[0] =~ s/http:\/\///i;

            $_[0] =~ s/www\.//i;

        }

        else

        {

            return 2;

        }

    }

    # replace 'server' from url

    $_[0] =~ s/^$host->{name}//i;

    

    # if page not absolute

    if ( substr($_[0], 0, 1) ne '/' )

    {

        $query =~ /(.*\/)/i;

        $_[0] = $1.$_[0];

    }

    

    #if url contain ../

    $_[0] =~ s/[^\/]*?\/\.\.\//\//g;



    #if url contain ./

    $_[0] =~ s/\.\///g;

    #if url contain ////

    $_[0] =~ s/\/+/\//g;

    

    # replace SESSIONID

    $_[0] =~ s/\&/&/g;

    

    # replace navigate on page #name

    if ( $_[0] =~ /\#/ )

    {

        $_[0] =~ s/\#[0-9a-z_\-]+$//i;

        $_[0] =~ s/\#[0-9a-z_\-]+\?/?/i;

        $_[0] =~ s/\#[0-9a-z_\-]+\&/&/i;

    }

    $_[0] =~ s/\?$|\&$//;

    return 1;

}

что то я не догоняю как вычислить "базовый URI для этой страницы"

можно примерчик (perl / php ///)

ээээ, но люди то все равно пишут в html www.site.ru/path !!без /!! сервер то разберется что делать... а вот я...

вот блин. а я этот /path использую потом...

= нашел все ссылки по запросу site.ru/path

но потом то он должен запросить все ссылки, который нашел на site.ru/path (а они могут быть относительными...) вот и фиг его знает как дальше быть, какой запрос делать site.ru/path/url_on_path ? а вдруг это файл, и запрос нуно такой site.ru/url_on_path :(

Miha Kuzmin (KMY), :)) , надо больше спать...

а вопрос собственно такой

мой робот конектится на сайт site.ru

делает запрос /

получает страницу и выуживает все ссылки (/news/, /forum/index.php, ..., /path)

затем конектится на сайт site.ru и делает запрос /news/

как определить /path это /path/ (т.е. директория) или файл

эх блин ...

спаибо!

lagif, полностью согласен по поводу ОС но все же пока посижу на форточке :)...

а на счет реализации двух скриптов кто как думает... может вообще извращнуться crawler скачал страничку и запустил

indexer -f путь_к_скачанной_странице :) по детски конечно :)) но зато нет потерь по передаче через сокеты, минус в том что память улетучиваться будет :(