Nysolは、大規模データを効率良く処理するためのツールの開発と、最先端の研究成果として開発されたプログラムをNysolプラットフォームで利用できるようにパッケージ化しており、様々な大学やプロジェクトで得られた研究成果を産業界に還元する目的で運用されているプロジェクトです。
Nysolが提供しているMコマンド(MCMD)は、大規模データを効率よく処理するために開発されたコマンド群で、データを柔軟に加工できるように設計されており、各コマンドは一つの機能しか持っていません。そして、それらのコマンドを組み合わせることで効率よく処理を実現していきます。2014年現在で提供されているコマンドは70種類ほどあり、非常に多くのコマンドが用意されています。しかし、70種類全てのコマンドをマスターする必要はなく、利用頻度の高い限られたコマンドを身に付けるだけでも非常に多くの分析が可能となります。
表1は、私のコンピュータに保存されていたMコマンド実行ファイル約2300個 (2万8000行)の中から、利用頻度の高いコマンドを上位20個示しています。上位10個のコマンドだけでも全スクリプト中の約80%の出現割合になります。効率良くMCMDをマスターするためには、よく利用するコマンドを確実に身につけることが重要です。
表1: 出現頻度の高い上位20のコマンド
順位 | MCMD | 使用回数 |
1 | msortf | 6644 |
2 | mcut | 5267 |
3 | mcal | 3312 |
4 | mjoin | 2588 |
5 | mcount | 1062 |
6 | msel | 1001 |
7 | muniq | 974 |
8 | mcat | 914 |
9 | mslide | 849 |
10 | mselstr | 847 |
11 | msetstr | 791 |
12 | mcommon | 558 |
13 | mnullto | 507 |
14 | mnumber | 438 |
15 | msum | 314 |
16 | mbest | 305 |
17 | mnjoin | 284 |
18 | mtra | 260 |
19 | mdelnull | 189 |
20 | msed | 178 |