Возможно вы правы. И все таки, еще раз замечу, что проверять вручную каталоги на бан, актуальность, тИЦ и PR не нужно, с этой задачей отлично справится скрипт, написаный на PHP. Вручную нужно проверять только новые каталоги на "серость". Я себе это представлял примерно так: на сервере база хранится в текстовом формате, и разбита на несколько файлов, например, по 500-1000 ссылок в каждом. Каждый день сервер сам запускает скрипт и проверяет каталоги из одного файла на актуальность и бан. Проверка на тИЦ и PR проводится раз в месяц (может реже или чаще). После проверки этого файала и отсеивания ненужных каталогов, база конвертируются в нужный формат и архивируются (все это сделает скрипт), после чего, свежая база станет доступна для скачивания. На следующий день, проверяется другой файл, опять конвертиркется и архивируется. Таким образом, база будет обновляться каждый день. В случае если база разрастется до очень большой, можно распределить проверку каталогов по разным серверам, а собирать на одном.
Отличная мысль! Нужно неприменно над этим подумать.
Не сам проверит, а сначала скрипт проверит, потом вручную другие учасники. Есть другие предложения?
Я понимаю, что без контроля получится полнейшая ерунда, нужно продумать все детально, поэтому я не стремлюсь создать эту базу сейчас, а интересуюсь мнением других. Безусловно, все аспекты не учесть, но большую часть всетаки можно. Например, первое, что пришло в голову: начать создавать базу с матриалов из недежных источников, затем по мере поступления, проверять ссылки сначала скриптами (или программами), затем вручную (это могут делать пользователи, постоянно и давно использующие сервис). Понятно, что база не будет сразу гиганской, а будет разрастаться постепенно, при этом она будет постоянно перепроверяться, но этого людям делать не придется.
Ну конечно, сделать, постоянно путаю. Конечно, может возникнуть множество проблем, например: если раздавать базы всем без разбора, то их и пополнять никто не захочет, скачал и ушел. С другой стороны можно попросить с человека десяток новых ссылок на каталоги а взамен отдать базу. Думаю такое правило не будет отпугивать профессианалов, а ленивых халявщиков половину отсеятся. Есть еще один подводный камень - некоторым людям захочется разместить такой архив у себя на сайте, для свободного скачивания, но с ними тоже можно бороться, как еще не придумал.
Главное идея (☝) есть, а зделать то я зделаю. Мне нужны комментарии на эту тему. У кого какие предложения есть.
