Выдернуть нужные строки из большого txt-файла

Hannes
На сайте с 24.10.2011
Offline
76
1175

Добрый день!

Столкнулся с такой проблемой. Есть txt файл в несколько миллионов строк, каждая строка содержит 4 типа данных (txt взят из excel таблицы, в которой было 4 колонки). Нужно выдернуть строки с нужным ключом и поместить в отдельный txt файл. Таких "выдергиваний" нужно сделать очень много (более 50к), т.е нужно решение с автоматизацией.

Искал различные решения, чем и как можно выдернуть, но ничего подходящего найти не получилось.

Буду рад совету! Спасибо! :beer:

sear4er
На сайте с 04.03.2010
Offline
715
#1

Вставить в эксель - применить фильтр.

Профессиональный SEO аудит с гарантией результата (форум). (/ru/forum/824674) EVOLUTION SEO - Оптимизация, продвижение сайтов, вывод из под фильтров (личный сайт). (https://evoseo.ru) Бесплатные SEO консультации. (https://evoseo.ru/seo-consultaciya/)
Hannes
На сайте с 24.10.2011
Offline
76
#2
sear4er:
Вставить в эксель - применить фильтр.

Спасибо за отклик! Но:

1) Строк несколько миллионов (даже открыть и прочитать такой файл - проблема);

2) Таких "выдергиваний" нужно сделать более 50к.

Помню, в "паленых" базах пастухова была похожая софтина, которая выдергивала ключи по маске. Нужно что-то подобное, только что бы результат по каждому ключу сохранялся в отдельный файл. :)

foxi
На сайте с 02.03.2011
Offline
875
#3

загнать в Sqlite и дергать можно как угодно и что угодно.

Антибот защита для сайта (https://antibot.cloud/ru.html#searchengines) (защита от кражи контента и спама) | ВебМастерские микроблоги (https://wmsn.biz/#searchengines) | Фокси SEO форум (https://foxi.biz/#searchengines)
Hannes
На сайте с 24.10.2011
Offline
76
#4
foxi:
загнать в Sqlite и дергать можно как угодно и что угодно.

Посмотрел, интересный вариант. Буду пробовать.

Спасибо! 🍻

A
На сайте с 19.07.2010
Offline
130
#5

1. простой grep - работает быстро. если нужно, то потом регулярками зачистить лишнее.

2. grep с регулярками - мощнее, но медленнее.

.............
Rimlyanin
На сайте с 22.02.2006
Offline
200
#6
Hannes:
txt файл в несколько миллионов строк, каждая строка содержит 4 типа данных (txt взят из excel таблицы, в которой было 4 колонки). Нужно выдернуть строки с нужным ключом и поместить в отдельный txt файл.

самый простой вариант:

для винды

find /i "{ключ}" {файл-источник} > {файл для вывода}

для *nix

cat {файл-источник} | grep {ключ} > {файл для вывода}
Каширин
На сайте с 03.01.2004
Offline
993
#7

google предоставляет свои ресурсы для использования, в том числе ресурсы sql.

5 млн записей в гугловской таблице легко используются и обрабатываются, это вам не MySQL. Погуглите, найдите, разобраться быстро. Этот инструмент гугла можно использовать для очень многих задач. Говорят, он даже может быть бесплатным ;) Удачи!

Умеешь программировать, знаешь English? Пиши в личку - есть работа
Hannes
На сайте с 24.10.2011
Offline
76
#8

Всем огромное спасибо!

Очень выручили!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий