Как написать робота

2AlexA, я читаю всё что могу найти на эту тему. Когда я читал описание Rodion-а , у меня было ощёщение, что это я писал. Единственное что меня смутило, так это модель базы данных, которую он предложил. При таком раскладе для одного сайта таблица слова будет весить 500000*(8+8+4+2)/1024/1024 = 10.5 MB. А это довольно много. При такой схеме, получается что одно слово в этой таблице будет весить 22 байта. Если учитывать то, что там где я собираюсь захостить показательную версию для диплома мне выделил гиг всего. Но это лучший вариант который я нашел, даже несмотря на то что там всего лишь 33.6 выделенка. Мне бы проиндэксировать большинство молдавских сайтов чтоб показать и всё. Но исходя из такой схемы которую предложил Rodion, мне надо целый винт брать даже для этого.