У робота есть директива позволяющая опускать значение этих переменных. Посмотрите справку по robots.txt у яндекса
Как с юникодом? Можно прикрутить к другому языку?
Какова производительность?
Можно использовать нереляционную базу данных типа couchdb или еще какуюнить построенную на tokyo kabinet.
