bashで並列処理する方法（xargs）

並列処理とは

通常、意識せずにプログラムを書くと、大体の場合はシングルプロセスの動作をするプログラムになります。

シングルプロセスとは、処理が書かれた順番に実行されていくということです。

シングルプロセスとは別に、マルチプロセスという動作があります。

マルチプロセスとは、イメージてきには、作業レーンが複数ある状態をイメージするのがわかりやすくて、さらにその作業レーンの中でシングルプロセスのプログラムが動く状態です。

現在、コンピュータのプロセッサ（CPU）は、通常マルチコアになっていて、マルチプロセスが動く前提の構造になっています。例えば、ブラウザを開きながら、メモ帳を起動したりなどです。

最近のCPUは１コアあたりの性能よりも、コア数を増やしてトータルで性能を上げる方向性がつよいので、プログラムを高速化しようとすると、大体の場合、シングルプロセスでは行き詰まりが発生してきて、マルチプロセスをどう使ったら早くなるかとかを考えるフェーズがかなりのケースで発生します。

似ている単語でマルチスレッドというものもあるのですが、bashでマルチスレッドをやるのは難しいので、この記事では割愛します。

xargsでマルチプロセスをやる方法

前置きが長くなりましたが、xargsを使うとマルチプロセスをわりと簡単に実装することができるので、簡単な例を使って解説しようとおもいます。

前提として、xargsはいろいろなオプションがあって、シェルスクリプトあるあるですが、使い方も人によってちがうので、他のやり方を否定するものではないです。あくまで例としてみてください。

シングルプロセスの例

処理結果

コードの解説

functionで３秒ごとにechoする機能を定義しています。

引数で何番目に呼ばれたかをわかるようにしていますが、シンプルな機能実装です。

export -f してますが、これはxargsをつかうと別プロセスで実行することになるので、exportしてあげないと別プロセスからfunctionが見えない状態になるためです。

seq 1 3で、1 2 3の連番をつくりだし、それをxargsに食わせています。

-Lは、１回の実行で使う引数の数です。ほとんどの場合、１を指定しておけば大丈夫です。

-Pは、並列プロセス数です。マルチプロセスをする場合は、2以上にします。

-Iは、パイプで受け取った引数の代名詞を定義します。大体、{}って書いておけばOKです。

今回は、-P 1なので、シングルプロセスの処理となり、処理結果の状態が生まれます。

マルチプロセスの場合

マルチプロセスを行う場合、-Pを2以上にします。

例えば、-P 2とすると以下の結果となります。

１処理目と２処理目が同時に走り、そのあとに３処理目が走っているのがわかります。

２並列の処理結果