複数実装の生の計測値を貼り付けるだけで、平均・中央値・標準偏差・最小・最大・相対倍率をまとめた比較表を生成します。Markdown 版も同時に出力します。
散らばった計測値を一枚の比較表に。 1 行に 1 グループ、ラベル・コロン・生の計測値の順で入力します。よく使う統計量を計算し、最速のグループを基準に相対倍率を並べ、PR にそのまま貼れる Markdown 表も出力します。
1 行を「名前: 値, 値, 値」の形式で入力します。カンマ・セミコロン・スペースはいずれも区切り文字として扱われます。
| グループ | 回数 | 平均 | 中央値 | 標準偏差 | 最小 | 最大 | 相対 |
|---|
「名前: 1, 2, 3」形式の行を 1 つ以上入力すると比較表が表示されます。
この表は両方を表示します。そして最初に見るべきなのは二つの差です。平均が中央値よりかなり高ければ、少数の遅い実行が平均を引き上げています。GC の停止、キャッシュミスの集中、OS がそのコアに別の処理を割り当てた、といった原因が考えられます。中央値はそれらを無視しますが、平均は無視しません。
どちらが自動的に正しいというものではありません。定常状態のスループットでサーバーをサイジングするなら平均が重要です。遅い実行も実際に時間を消費しているからです。二つの実装を比べてどちらのアルゴリズムが優れているかを判断するなら、通常は中央値のほうが公平です。外れ値はあなたのコードではなくあなたのマシンを測っているからです。実際に論じている側の数字を引用し、どちらを使ったかを明示してください。
平均の差は、ばらつきに対して十分大きいときだけ意味を持ちます。12.0 ミリ秒と 12.4 ミリ秒で標準偏差が 0.05 なら、本当に違います。同じ二つの平均で標準偏差が 3.0 なら、それは帽子を替えただけの同じ数字であり、そこから導いた結論はノイズです。
このツールは標本標準偏差を使い、n ではなく n-1 で割ります。ここではそれが正解です。あなたの実行は「あり得るすべての実行」という母集団から抽出された標本であって母集団そのものではなく、n で割るとばらつきを系統的に過小評価してしまいます。実行が 1 回だけならばらつきは計算できず、この列は 0 になります。これは「1 回の計測はベンチマークではない」という注意喚起でもあります。
最後の列は各グループを最速グループの倍数で表します。結果が復唱されるときはたいていこの形だからです。「新しいパーサーは 2.4 倍速い」は伝わりますが、「新しいパーサーは平均 8.2 ミリ秒」は、聞き手が基準値を知っていない限り伝わりません。
注意が二つあります。第一に、この比はその背後にある二つの平均の不確かさをそのまま引き継ぐので、ノイズの多いデータでの 1.05 倍は差とは言えません。第二に、「平均の比」と「比の平均」は別物であり、各実行の規模が大きく異なる場合には逆方向を指すことすらあります。数字が近いときは、倍率とあわせてばらつきも示し、読み手に判断を委ねてください。