- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
http://blog.kislenko.net/show.php?id=987 тут фсё, только iconv добавить
30ГБ в .txt? 😮
Тут надо думать не о том, как открывать и/или перекодировать, а том, какой это кошмар и как от него избавиться! ☝
30ГБ в .txt? 😮
Тут надо думать не о том, как открывать и/или перекодировать, а том, какой это кошмар и как от него избавиться! ☝
Ну почему же, вполне себе рядовая ситуация (например, на хостинге/собственном сервере).
1 режешь тоталом файл на такие куски, чтобы хватило оперативы для открытия
UTF-8 файл нельзя разбивать на части, т.к. буквы кодируются переменным числом символов и возможна потеря "на стыке" файлов.
iconv всё сделает как надо.
1 режешь тоталом файл на такие куски, чтобы хватило оперативы для открытия нотепадом++
2 открываешь и меняешь кодировку файлов
3 потом тоталом можно собрать файл обратно
Месье знает толк в извращениях 😂
а автору посоветую
Месье знает толк в извращениях 😂
а автору посоветую
Умник? iconv такой файл (30 гб) не примет, озу не хватит, его резать надо. Если уж тут речь пошла о юниксовых утилитах, то файл можно разбить командой:
Разобьет на файлы размером 1гб, а собрать обратно утилитой cat, хотя правильно ли он соберется после смены кодировки - мне неизвестно?
Умник? iconv такой файл (30 гб) не примет, озу не хватит, его резать надо.
Так-так, очень интересно.
Не сарказм, я искренне верил до этого, что iconv потоковый.
Продолжите мысль, если не трудно.
Я стесняюсь спросить, а 30ГБ текстовый файл - он в результате его появился вообще?
Я не знал, что такое бывает.
Умник? iconv такой файл (30 гб) не примет, озу не хватит, его резать надо. Если уж тут речь пошла о юниксовых утилитах, то файл можно разбить командой:
Сейчас проверил у себя на дедике, ничего он в оперативку не загружает. Проходится по файлу и записывает в output файл параллельно - в один поток.
Так-так, очень интересно.
Не сарказм, я искренне верил до этого, что iconv потоковый.
Продолжите мысль, если не трудно.
Он потоковый, там какой то глюк при очень больших файлах, может в новых версиях подправили, я тут читал:
http://lj.rossia.org/users/shestero/112180.html
http://pro-self.ru/blog/pselfin/smena-kodirovki-faylov-v-ubuntu-tak-zhe-iconv-i-bolshie-fayli
http://www.linux.org.ru/forum/talks/4762188