1.2 確率分布と母関数
1.2.1 確率関数
離散型確率変数\(X\)に対し、
\[ f_X(x) = P(X =x) \]
を確率関数（probability function）または確率質量関数（probability mass function; PMF）と呼ぶ。要するに確率変数の実現値をつっこむとその値に対応する確率が返ってくるような関数。
確率関数は確率であるため、次の性質を満たす点に注意しておく。
- \(0 \leq P_i \leq 1\)
- \(\sum_{i=1}^n P_i = 1\)（全確率）
- \(P(a \leq X \leq b) = \sum_{a \leq X_i \leq b} P_i\)
また、確率関数に対して分布関数\(F_X(x)\)を次のように定義する。
\[ F_X(x) = P(X \leq x) = \sum_{x_i \leq x} P_i \]
文章で表現すれば、上記の式は\(X\)が\(x\)以下の値になる確率を求めるための関数である。累積分布関数と呼ぶ場合もある。確率変数\(X\)が離散型であっても、分布関数の変数\(x\)は連続型であるという点に注意する。例えば、サイコロの目が3.5になることはありえないが、「サイコロの目が3.5以下の確率」は求めることができるのである。
1.2.2 確率密度関数
連続型確率変数\(X\)に対し、
\[ F_X(x) = \int_{-\infty}^x f_X(t) dt \]
となるような関数\(f_X(x)\)を確率密度関数（probability density function; PDF）と呼ぶ。
確率関数と違って、連続型確率変数では確率変数が特定の値をとる確率は0となる（\(P(X = x) = f_X(x)dx = 0\)である）。しかし、密度ならば測定できる。例えば、区間\([0, 1]\)の連続型一様分布を考えると、確率変数の値が厳密に0.5となる確率は0であるが、確率変数が0.5以下となる確率であれば0.5である。したがって、上記のように先に累積分布を想定しておき、その被積分関数\(f_X(x)\)を確率密度関数と呼ぶのである。上記一様分布の場合、確率密度関数は次のようになる。
\[ f_X(x) = \begin{cases} 1 & (0 \leq x \leq 1) \\ 0 & (\mathrm{otherwise}) \end{cases} \]
なお、区間\(a\)から\(b\)に対する一般の一様分布であれば次のようになる（\(a \lt b\)とする）。
\[ f_X(x) = \begin{cases} \frac{1}{a - b} & (a \leq x \leq b) \\ 0 & (\mathrm{otherwise}) \end{cases} \]
なお、非積分値が1にならない関数も、非積分値が1になるように、すなわち区間\([-\infty, \infty]\)で積分した値で割ることで確率密度関数とすることができる。このときの分母を正規化定数と呼ぶ。
確率密度関数の性質としては次のようなものが挙げられる。
- \(f_X(x)dx = 0\)…特定の値になる確率は0
- \(\int_{-\infty}^\infty f_X(x)dx = 1\)…全確率
- \(\int_b^a f_X(x)dx = P(a \leq X \leq b)\)
全ての区間にわたっての積分値が1になるという条件さえ満たしていれば、確率密度関数自体の値は1を超える場合もありうる、という点に注意すること。
1.2.3 同時確率関数
離散型確率関数\(X\)と\(Y\)があったとき、\((X, Y) = (x, y)\)のときの確率を
\[ f_{XY}(x, y) = P(X = x, Y = y) \]
とし、これを\(X\)と\(Y\)の同時確率関数と呼ぶ。