BredoGen.: Может просто не хватить памяти для считывания всего файла в массив. Лучше считывать построчно, тогда останется надежда, что памяти хватит на массив с уникальными строками.
построчно смысл теряется
считаешь одну строку, а с чем сравнивать её будешь?
на след.строке предыдущая уже забыта, иначе теряется смысл слова "построчно"
cat source.txt | sort | uniq > result.txt
это долго
у меня perl-скрипт работает на линухе через хэши - за секунду из ляма выкидывает лишнее (русские кеи тоже обрабатывает)
с бОльшим кол-вом кеев просто не приходилось сталкиваться
а где он там?
kxk, конечно шлют
ты что не знаешь, что такое ботнет?
Ну как, есть такая штука как фид рейт и CTR от которой зависит средний бид и цена за клик.
т.е. выгоднее прислать 100 уников по 10 центов, чем 1000 по 5 ??
геморно, не ? + память быстрее.
конечно быстрее, но только в случае с хэшами
иначе её много надо
1 кей это ~20-25 символов
80 лям * 20 ~ 2гига
я бы тоже купил. первые 6 месяцев 10% заработков ваши
от просеиваний потеряется больше, чем получится
нах вообще нужны фильтры, если траф весь на одного спонса идёт??
а если не на одного, то на тдс разделяй
P.S. боты = те же юзеры, успехов в фильтрации.
чё, очередная школота слила многотысячную тему за $10 ?
вэлком ту рашн биз, йопта!
ещё можно читать файл построчно и сохранять в виде файлов на диске каждый кей
только надо на диры разбить по 1й букве например, а то 80кк файлов в одной дире не откроются
будет 100% уникальность + в памяти максимум одна строка
Может просто не хватить памяти для считывания всего файла в массив.
Лучше считывать построчно, тогда останется надежда, что памяти хватит на массив с уникальными строками.
построчно смысл теряется
считаешь одну строку, а с чем сравнивать её будешь?
на след.строке предыдущая уже забыта, иначе теряется смысл слова "построчно"
это долго
у меня perl-скрипт работает на линухе через хэши - за секунду из ляма выкидывает лишнее (русские кеи тоже обрабатывает)
с бОльшим кол-вом кеев просто не приходилось сталкиваться
кидай файл, посмотрим, сколько займёт
откровенно дешёвые боты там есть ;)
а чё бы его не давать, доры это теже сайты