s91: 22Striker22, bloxa, Там ничего не написано. Хоть на китайский переводи, все равно ничего полезного))
А по-мойму там всё чётко написано. Робот на стадии тестирования, собирает информацию для того, чтобы впоследствии её можно было включить в какой-либо сервис, например ПС, система анализа контента и так далее.
Да какие правила, ты заморачиваешься над очисткой в прямом понимании этого слова (кеи без мусорных знаков), но ты роешь вообще не в ту сторону, хороши кеи не те, которые чище, а те которые дадут больше трафика.
Я когда в рунете работал, были спец запросы какие-то с левыми урлами, так вот только эти кеи давали по 5-10 уников в день. И зачем их чистить?
Базу нужно чистить от "мусора", который не даёт трафик, а всякие символы и прочее это вообще пох.
А чё не барыга чтоли? говно в упаковку красочную завернул, а запах то палит всё.
- заменены схожие по написанию буквы разных алфавитов (например, в слове mail русская буква а заменена на английскую a)
- из строк удалены все специальные символы (.,:]«»@+_-[=!%/<>|&;`ґ"*$?~^(){}# )
- из строк удалён различный мусор (признаки парсинга, неверная раскладка клавиатуры и т.д.)
- удалены дубли строк
- удалены строки, содержащие запрещенные и неконвертируемые выражения (ДП, зоо, некро, педо, бесплатно и пр.)
- строки перемешаны в случайном порядке
ахереть, софта такого куча, да и бесплатный есть. берём пастухова базу, делаем выборки и продаём, чума!
4 gig ram, 1 hdd - 300gigs, 2 hdd - 1tb
2 video - Geforce 8800 ultra
monitor - 24" HP LP2475w IPS
inet 20 mbit unlim
Этот монитор лишняя трата денег, его на 2x19' widescreen разменять и хорошее рабочее место получится.
А у кого-нибудь есть в наличии ноутбук hp t серии? Как в удобстве?
Такое чувство что маленькие детки общаются.... ))
Тенденцию решил не нарушать?
фрихостия также не понимает букву "я" в именах файлов
приходилось писать "познакомимсйа" :)
вообще русские буквы в именах файлов только лишние проблемы
Если хочешь юзать столько текста, то ставь memory limit как можно больше и apachectl restart не забудь
22Striker22, bloxa, Там ничего не написано. Хоть на китайский переводи, все равно ничего полезного))
А по-мойму там всё чётко написано. Робот на стадии тестирования, собирает информацию для того, чтобы впоследствии её можно было включить в какой-либо сервис, например ПС, система анализа контента и так далее.
Робот делает следующее:
-выкачивает страницу
-извлекает ссылки
-извлекает основной текст
Да какие правила, ты заморачиваешься над очисткой в прямом понимании этого слова (кеи без мусорных знаков), но ты роешь вообще не в ту сторону, хороши кеи не те, которые чище, а те которые дадут больше трафика.
Я когда в рунете работал, были спец запросы какие-то с левыми урлами, так вот только эти кеи давали по 5-10 уников в день. И зачем их чистить?
Базу нужно чистить от "мусора", который не даёт трафик, а всякие символы и прочее это вообще пох.
Я вроде недорого продаю. Соответственно вложенному труду. А софта такого нет, поверь.
программа от egis'а такое мутит и она фри.
А чё не барыга чтоли? говно в упаковку красочную завернул, а запах то палит всё.
- из строк удалены все специальные символы (.,:]«»@+_-[=!%/<>|&;`ґ"*$?~^(){}# )
- из строк удалён различный мусор (признаки парсинга, неверная раскладка клавиатуры и т.д.)
- удалены дубли строк
- удалены строки, содержащие запрещенные и неконвертируемые выражения (ДП, зоо, некро, педо, бесплатно и пр.)
- строки перемешаны в случайном порядке
ахереть, софта такого куча, да и бесплатный есть. берём пастухова базу, делаем выборки и продаём, чума!
Не обобщай. Школьников везде полно, но что ж поделаешь...
На школьников пох, главное чтоб мозг был, а он не у каждого взрослого есть.
а судя по форуму таких полно