Bash
Параллельно

Вступление

Синтаксис

1. parallel [options] [команда [аргументы]] <list_of_arguments>

параметры

Параллелизировать повторяющиеся задачи в списке файлов

Многие повторяющиеся задания могут выполняться более эффективно, если вы используете больше ресурсов своего компьютера (например, ЦП и ОЗУ). Ниже приведен пример параллельной работы нескольких заданий.

Предположим, что у вас есть < list of files > , например вывод из ls . Кроме того, пусть эти файлы сжаты bz2, и на них должен работать следующий порядок задач.

1. Декомпрессируйте файлы bzcat с помощью bzcat в stdout
2. Grep (например, фильтр) с определенным ключевым словом (-ами) с использованием grep <some key word>
3. Выполните вывод, который будет объединен в один файл gzip используя gzip

Выполнение этого с помощью цикла while может выглядеть так:

filenames="file_list.txt"
while read -r line
do
name="$line"
     ## grab lines with puppies in them
     bzcat $line | grep puppies | gzip >> output.gz
done < "$filenames"

Используя GNU Parallel, мы можем запускать сразу три параллельных задания, просто делая

parallel -j 3 "bzcat {} | grep puppies" ::: $( cat filelist.txt ) | gzip > output.gz

Эта команда проста, кратки и эффективна, когда количество файлов и размер файла являются большими. -j 3 запускаются parallel , опция -j 3 запускает 3 параллельных задания, а вход в параллельные задания берется в ::: . Выход в конечном итоге подается на gzip > output.gz

Параллелизировать STDIN

Теперь давайте представим, что у нас есть 1 большой файл (например, 30 ГБ), который нужно преобразовать, построчно. Скажем, у нас есть скрипт, convert.sh , который выполняет эту <task> . Мы можем передать содержимое этого файла в stdin для параллельного ввода и работы с такими кусками , как

<stdin> | parallel --pipe --block <block size> -k <task> > output.txt

где <stdin> может происходить из чего-либо, такого как cat <file> .

В качестве воспроизводимого примера наша задача будет nl -n rz . Возьмите любой файл, мой будет data.bz2 и передайте его в <stdin>

bzcat data.bz2 | nl | parallel --pipe --block 10M -k nl -n rz | gzip > ouptput.gz

В приведенном выше примере используется <stdin> из bzcat data.bz2 | nl , где я включил nl как доказательство того, что окончательный выходной output.gz будет сохранен в том порядке, в котором он был получен. Затем parallel делит <stdin> на куски размером 10 МБ, и для каждого фрагмента он передает его через nl -n rz где он просто добавляет числа, правильно оправданные (подробнее см. nl --help ). Опции --pipe parallel split <stdin> на несколько заданий, а -- block определяет размер блоков. Опция -k указывает, что упорядочение должно поддерживаться.

Ваш конечный результат должен выглядеть примерно так:

000001       1  <data>
000002       2  <data>
000003       3  <data>
000004       4  <data>
000005       5  <data>
 ... 
000587  552409  <data>
000588  552410  <data>
000589  552411  <data>
000590  552412  <data>
000591  552413  <data>

В моем исходном файле было 552 413 строк. Первый столбец представляет собой параллельные задания, а второй столбец представляет собой исходную нумерацию строк, которая была передана parallel в кусках. Вы должны заметить, что порядок во втором столбце (и остальной части файла) сохраняется.