Пробую написать самый простой! Не думаю, что стоит заморачиваться сначала!
lagif, для начала я хочу написать простого паука!
А почему бы не объеденить это в одну программу!
Пусть скачивает страничку, ищет ссылки и ключевые слова! Мне кажется, тут нет минусов! а +: меньше траффика!
Индексатора и краулера в одной программе!
Дело в том, что в Ташкенте траффик дорогой и место на серваках тоже!
Я так понял, что краулер качает страничку, обрабатывает ссылки, а индексатор, закачивает её опять (с мира или локального ресурса) и индексирует! Я же хочу одновременно и обрабатывать ссылки и индексировать за один "шаг".
Это как? Мне казалось, что краулер ищет ссылки, а паук (индексатор) обрабоатывает документ!
Пишу я на Си под линукс!
Сейчас основная проблема - разработка структры базы данных!
Есть, конечно же, более мелкие проблемы, но они со временем решатся!
Слонжовато писать на Сях, Си, как известно, не поддерживает строки и, следовательно, остожняет разработку! Подумывал писать на Python-е, но Питон плохо знаю и потом, он скриптовый!
Что посоветуете? Учить питон (забросить Си) или все же мучиться! Это чисто моя инициатива - создать паука для зоны Уз!
