Форум Практика оптимизации Сервисы и программы для работы с SE

Чистка каталогов от мусора (признаки)

Ice_sCream · 2006-11-10T07:37:31.0000000Z

Чтобы облегчить работу модераторам каталогов (часто бывает так, что модератор один, а каталогов у него в подчинении много), написал простенький скрипт. Скрипт этот адаптирован на работу с каталогами Made-Cat. Алгоритм прост: перебираются все ссылки и те, которые не подходят по определенным параметрам, удаляются. <? include "configuration.php"; $db_user=DB_USER; $db_pass=DB_PASSWORD; $db_name=DB_NAME; $db_host=DB_HOST; function sql_connect() { global $db_user, $db_pass, $db_name, $db_host; $db=mysql_connect($db_host, $db_user, $db_pass); mysql_selectdb($db_name); // mysql_db_query($db_name,"SET NAMES cp1251"); return $db; } sql_connect(); $query = "SELECT url,id FROM dna_links Where visible=1"; $result = mysql_query ($query) or die(__LINE__."Query $query failed: " . mysql_error()); while(list($url,$id) = mysql_fetch_row($result)) { if ((substr_count($url, "/")>3)||(substr_count($url, ".htm")>0)||(substr_count($url, ".php")>0)||(substr_count($url, "@")>0)) { $query2="DELETE FROM dna_links where id=$id"; $result2=mysql_query($query2) or die(__LINE__."Query $query2 failed: " . mysql_error()); echo "Удален урл: $url <br/>"; } } ?> Что примечательно, сам являюсь регистратором (см. подпись), но откровенного мусора еще ни разу в сеть не пускал. Однако "коллеги" иногда меня убивают излишне пренебрежительным отношением к подобной работе. Скрипт удаляет: - внутренние страницы сайта (которые содержат в урле htm, html, php и более 3 слешей; - запостенные е-мейлы (бывают и такие). Советую выставить в cron и запускать раз в неделю (день, месяц) в зависимости от популярности каталога. О результатах: с моих 5 каталогов было вычищено 250 урлов мусора. Вот так я месяцок не занимался каталогами. Ну и главное: - какие можно добавить признаки (включая, анализ описаний, доменных зон и так далее); - может стоит завести черный список доменных имен (у меня честь товарищи, которые постоянно постят поддомены одного из доменов, вот его можно было бы добавить в спам-лист)? - ваши соображения.

190

kit

23 ноября 2006, 16:25

#21

ipconfig:
Чтот я не понял. Вы предлагаете каждый сайт проверять на просроченность доменов??
Вы представляете загрузку сервака..? И время, нужное для этого?

Я так и делаю на своих проектах, поэтому представляю. На проверку 150К ссылок уходит неделю работы скрипта так, что-бы его не было заметно на фоне других процессов.

Master-X.com (http://www.master-x.com) - крупнейшее сообщество русскоязычных эдалт вебмастеров.

Open AI тестирует память для ChatGPT

Все что нужно знать о DDоS-атаках грамотному менеджеру

Чистка каталогов от мусора (признаки)