Как сменить кодировку txt файла не открывая его?

123
[Удален]
#11

http://blog.kislenko.net/show.php?id=987 тут фсё, только iconv добавить

J
На сайте с 21.08.2011
Offline
78
#12

30ГБ в .txt? 😮

Тут надо думать не о том, как открывать и/или перекодировать, а том, какой это кошмар и как от него избавиться! ☝

A1
На сайте с 04.09.2013
Offline
18
#13
Jovian:
30ГБ в .txt? 😮
Тут надо думать не о том, как открывать и/или перекодировать, а том, какой это кошмар и как от него избавиться! ☝

Ну почему же, вполне себе рядовая ситуация (например, на хостинге/собственном сервере).

Оптимизайка
На сайте с 11.03.2012
Offline
396
#14
getforweb:
1 режешь тоталом файл на такие куски, чтобы хватило оперативы для открытия

UTF-8 файл нельзя разбивать на части, т.к. буквы кодируются переменным числом символов и возможна потеря "на стыке" файлов.

iconv всё сделает как надо.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
[Удален]
#15
getforweb:

1 режешь тоталом файл на такие куски, чтобы хватило оперативы для открытия нотепадом++
2 открываешь и меняешь кодировку файлов
3 потом тоталом можно собрать файл обратно

Месье знает толк в извращениях 😂

а автору посоветую

iconv -f UTF-8 -t WINDOWS-1251 -o output_file.txt original_file.txt
[Удален]
#16
bestq:
Месье знает толк в извращениях 😂

а автору посоветую
iconv -f UTF-8 -t WINDOWS-1251 -o output_file.txt original_file.txt

Умник? iconv такой файл (30 гб) не примет, озу не хватит, его резать надо. Если уж тут речь пошла о юниксовых утилитах, то файл можно разбить командой:

split -b 1000000000 file.txt

Разобьет на файлы размером 1гб, а собрать обратно утилитой cat, хотя правильно ли он соберется после смены кодировки - мне неизвестно?

DV
На сайте с 01.05.2010
Offline
644
#17
getforweb:
Умник? iconv такой файл (30 гб) не примет, озу не хватит, его резать надо.

Так-так, очень интересно.

Не сарказм, я искренне верил до этого, что iconv потоковый.

Продолжите мысль, если не трудно.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
melkozaur
На сайте с 06.04.2010
Offline
505
#18

Я стесняюсь спросить, а 30ГБ текстовый файл - он в результате его появился вообще?

Я не знал, что такое бывает.

Серверы в NL/US со скидкой 30% нашим читателям: E5-2650v4/10GB DDR4/240GB SSD/1 Gbps - от $20: https://ua-hosting.company/vps/nl SEO без компромиссов: https://seoleaks.net SEOLEAKS - продвижение сайтов: https://www.instagram.com/seoleaks
[Удален]
#19
getforweb:
Умник? iconv такой файл (30 гб) не примет, озу не хватит, его резать надо. Если уж тут речь пошла о юниксовых утилитах, то файл можно разбить командой:

Сейчас проверил у себя на дедике, ничего он в оперативку не загружает. Проходится по файлу и записывает в output файл параллельно - в один поток.

[Удален]
#20
DenisVS:
Так-так, очень интересно.
Не сарказм, я искренне верил до этого, что iconv потоковый.
Продолжите мысль, если не трудно.

Он потоковый, там какой то глюк при очень больших файлах, может в новых версиях подправили, я тут читал:

http://lj.rossia.org/users/shestero/112180.html

http://pro-self.ru/blog/pselfin/smena-kodirovki-faylov-v-ubuntu-tak-zhe-iconv-i-bolshie-fayli

http://www.linux.org.ru/forum/talks/4762188

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий