順序統計量とベータ分布について #Gemini と #ChatGPT に教わる

　まずはGeminiに尋ねた。

0から1の一様分布からランダムに選んだ $n$ 個のデータを小さい順に並べたとき、小さい方から $k$ 番目（$1 \le k \le n$）の値 $X_{(k)}$ の平均値（期待値）と分散は、以下のようになります。

結論

平均値（期待値）:

$$E[X_{(k)}] = \frac{k}{n + 1}$$

分散:

$$V(X_{(k)}) = \frac{k(n - k + 1)}{(n + 1)^2(n + 2)}$$

直感的な意味

平均値について

0から1の区間に $n$ 個の点をランダムに打つと、それらの点は区間を平均的に $n + 1$ 個の等しい長さに分割するような位置に落ち着きます。

したがって、1番小さな値は $\frac{1}{n+1}$ のあたりに、2番目は $\frac{2}{n+1}$ のあたりに……というように、非常に規則正しく並ぶことが期待されます。

分散について

分散の式を見ると、分子に $k(n - k + 1)$ があります。これは、データの端っこ（$k=1$ や $k=n$）のときよりも、中央付近（$k \approx \frac{n}{2}$）のときのほうが値が大きくなることを示しています。

つまり、両端に近い順位ほど値のブレが小さく、中央の順位ほど値がブレやすいという性質を持っています。

数学的な背景（ベータ分布）

一様分布から抽出した順序統計量（小さい順に並べたデータ）は、ベータ分布と呼ばれる確率分布に従うことが知られています。

小さい方から $k$ 番目の値 $X_{(k)}$ の確率密度関数 $f(x)$ は以下のようになります。

$$f(x) = \frac{n!}{(k - 1)!(n - k)!} x^{k - 1} (1 - x)^{n - k}$$

これはパラメータが $\alpha = k$、$\beta = n - k + 1$ のベータ分布 $\text{Beta}(k, n - k + 1)$ そのものです。

ベータ分布 $\text{Beta}(\alpha, \beta)$ の平均と分散の公式はそれぞれ以下の通りです。

ベータ分布の平均:

$$E[X] = \frac{\alpha}{\alpha + \beta}$$

ベータ分布の分散:

$$V(X) = \frac{\alpha\beta}{(\alpha + \beta)^2(\alpha + \beta + 1)}$$

ここに $\alpha = k$ と $\beta = n - k + 1$ を代入し、$\alpha + \beta = n + 1$ であることを用いると、最初に示した平均と分散の式が導出されます。

　あっさりとした回答だったので、数学の世界では当たり前に知られていることのようだった。この「順序統計量」と「ベータ分布」について、ChatGPTに尋ねてみた。

はい、**従います**。より正確には、

**0～1で一様に独立に選んだ $n$ 個の点を小さい順に並べたとき、$k$ 番目の点（順序統計量）はベータ分布に従います。**

これは順序統計量（order statistics）の最も基本的な結果の一つです。

## 問題の設定

$X_1,\dots,X_n$ を独立に
$$
X_i \sim \mathrm{Uniform}(0,1)
$$
から生成します。

小さい順に並べると
$$
X_{(1)} \le X_{(2)} \le \cdots \le X_{(n)}
$$
となります。

このとき
$$
X_{(k)}
$$
は
$$
\boxed{X_{(k)} \sim \mathrm{Beta}(k,;n-k+1)}
$$
に従います。

---
## なぜベータ分布になるのか（直感）

### 「$k$番目」が $x$ 付近にあるとは？

例えば3番目の点が $x$ にあるとは、

* $x$ より左側にちょうど2個ある
* 1個が $x$ の近くにある
* 残りは右側にある

という状況です。

一様分布なので、

* 左側に入る確率は $x$
* 右側に入る確率は $1-x$

になります。

つまり
「左に何個入るか」
は二項分布で決まります。

---
### 密度を考える

$k$番目が $x$ 近くにある確率は

概ね

* 左に $k-1$ 個
* 右に $n-k$ 個

となる確率に比例します。

そのため
$$
x^{k-1}(1-x)^{n-k}
$$
という形になります。

これはまさにベータ分布の密度
$$
f(x)
\propto
x^{\alpha-1}(1-x)^{\beta-1}
$$
と一致し、
$$
\alpha=k,\qquad
\beta=n-k+1
$$
となります。

---
## 平均

ベータ分布の平均は
$$
\frac{\alpha}{\alpha+\beta}
$$
なので
$$
\boxed{
E[X_{(k)}]
=
\frac{k}{n+1}
}
$$
となります。

これは非常に美しい結果です。

例えば
10個点を打つと
平均的には

順位	平均位置
1位	1/11
2位	2/11
3位	3/11
…	…
10位	10/11

となります。

つまり平均的には等間隔になります。

---
## 分散

ベータ分布の分散は
$$
\boxed{
\operatorname{Var}(X_{(k)})
=
\frac{k(n-k+1)}
{(n+1)^2(n+2)}
}
$$
となります。

中央付近ほど分散が大きく、
端の順位ほど小さくなります。

これは、最小値や最大値は端に「押しつけられる」のに対し、中央の順位は動ける範囲が広いからです。

---
## もう一つの見方

実は
$$
0,;
X_{(1)},;
X_{(2)},;
\dots,;
X_{(n)},;
1
$$
で区切られる (n+1) 個の区間の長さ
$$
(X_{(1)},
X_{(2)}-X_{(1)},
\dots,
1-X_{(n)})
$$
を考えると、これらは合わせて1になるランダムな分割であり、そのベクトルは**ディリクレ分布**（パラメータがすべて1）に従います。

そして $X_{(k)}$ は最初の $k$ 個の区間長の和です。ディリクレ分布には「いくつかの成分を足し合わせるとベータ分布になる」という性質があるため、
$$
X_{(k)}
=
\sum_{i=1}^{k}(\text{区間長}_i)
$$
は自然に
$$
\mathrm{Beta}(k,n-k+1)
$$
になります。

この見方をすると、**順序統計量がベータ分布になる理由は、「ランダムな分割（ディリクレ分布）の累積和だから」**と理解でき、ベイズ統計で現れるベータ分布とのつながりも見えてきます。

どういたしまして！

この結果は初めて見ると少し意外ですが、知っているといろいろな場面で役立ちます。

例えば、平均が

$$
E[X_{(k)}]=\frac{k}{n+1}
$$

になることから、ランダムに打った点を順位順に並べると「平均的には等間隔になる」という事実がすぐにわかります。一方で、分散

$$
\operatorname{Var}(X_{(k)})
=
\frac{k(n-k+1)}
{(n+1)^2(n+2)}
$$

を見ると、中央付近の順位ほどばらつきが大きく、最小値・最大値は端に制約されるためばらつきが小さいことも読み取れます。

さらに一歩進むと、

* **順序統計量**（Order Statistics）
* **ベータ分布**
* **ディリクレ分布**
* **ポアソン過程**
* **ベイズ統計**

は実は深くつながっています。例えば、ポアソン過程で「イベント時刻を区間内に条件付けると一様乱数の順序統計量になる」という性質があり、そこからベータ分布やディリクレ分布が自然に現れます。

こうしたつながりを知ると、単なる公式の暗記ではなく、「なぜベータ分布がいろいろなところに現れるのか」が見えてきます。

興味があれば、「順序統計量の密度を二項分布から導く方法」や「ディリクレ分布との関係」を数式を使って丁寧に導出することもできます。