Проверка есть ли домен в DMOZ

F
На сайте с 13.11.2010
Offline
23
1115

Пишу программу для массовой проверки доменов на наличие в ДМОЗе (мб, потом еще что-нить прикручу), но столкнулся с проблемой. Попался мне домен masterix.com.ua (нашел его в ГГЛ), который не находится в поиске ДМОЗа, но он там есть. Можно, конечно, тянуть http://rdf.dmoz.org/rdf/content.rdf.u8.gz и через поиск по content.rdf.u8 работать, но этот дамп не обновляется каждый день и тянуть каждый раз его проблематично, да и очень быстро по двухгиговому файлу не поищешь. Но, например, ГГЛ, pr-cy.ru, xseo.in находят сайт masterix.com.ua в ДМОЗе. Мб, кто-нить знает что это за способ, который работает на доменах, не ищущихся в поиске ДМОза?

Продай/купи сайт (http://blogflash.ru/t.php) на бирже от создателей GGL и Miralinks. Торопись, пока конкуренция не слишком высока.
T
На сайте с 18.10.2009
Offline
222
#1

Последнее время дамп обновляется еженедельно, по воскресеньям, примерно в 8:30 по Москве.

Чтобы не искать по двухгиговому файлу, можно вырезать из него все лишнее. Например:

grep -E '<link' content.rdf.u8 >> links.txt

sed -e 's/.*http:\/\/\(.*\)">.*/\1/g' links.txt >> links_2.txt

остается 110 Мб одних ссылок.

Никаких платных услуг (/ru/forum/comment/13036069) по ДМОЗу (добавление, оценка сайта и т.п.) не предлагаю - это развод.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий