KnoNの学び部屋

大学に8年在籍した後無事に就職した会社員が何かやるところ。

通信の数学的理論 その4

今夜は川崎フロンターレの試合を見に行こうと思っていたのだけど、天気が怪しい&チケットほぼ完売の大入りらしい、でどうなることやら。

チケットは招待券持ってるからいいけど、入れたところで座る席がないやも知れぬ。

 

引き続き

通信の数学的理論 (ちくま学芸文庫)クロード・シャノン、2009)

Ⅲ 連続情報

をやります。

 

いつにもまして数式ばかり。

通信の数学的理論 (ちくま学芸文庫)

通信の数学的理論 (ちくま学芸文庫)

 

 

Ⅲ 連続情報

 ここまで「離散的」な信号を扱ってきた。

 ここからは信号やメッセージ、その両方が「連続変数」である場合を考えて行く。

 

 信号・メッセージの連続体を、多数だが有限個の小さな領域に分割し、離散的だとみなした場合からの極限過程を経ることで、かなりの精度で近似を求めることが出来る。

⇒「積分」と同じ発想。

 

関数のアンサンブル 

 連続の場合、「関数の集合」と「関数のアンサンブル」を取り扱わなくてはならない。

  • (関数の)集合=時間を変数とする関数を単に集めたもの
  • (関数の)アンサンブル=確率測度*1を伴う関数の集合。
    →確率測度によって、ある性質を持つ集合に属する関数の確率を決定することが出来る。

 

 関数のアンサンブルには次の性質が指摘できる。

  • もし全ての関数を任意に固定された量の時間だけシフトさせても同一のアンサンブルが得られるならば、そのアンサンブルは定常である。
  • もしアンサンブルが定常で、その集合に属する関数の定常な部分集合で確率が0か1以外になるものがなければ(=必ず0か1になるのなら)、そのアンサンブルはエルゴード的*2である。

 

 

困難は分割せよ

 時間関数{ \displaystyle f(t)}が帯域0〜W[Hz]に制限されているならば、次の成果に示されているように、{ \displaystyle \frac{1}{2W}}秒感覚の離散的な点列上の座標を与えることで、この関数は完全に決定される。

有限個のサンプルから連続関数を定めることが出来る

定理13:

 { \displaystyle f(t)}がWを越える周波数成分を有していないとする。

 このとき

{ \displaystyle  f(t) = \sum_{-\infty}^{\infty} X_n\frac{\sin\pi(2Wt - n)}{\pi(2Wt - n)}}

が成り立つ。ただし

{ \displaystyle  X_n = f(\frac{n}{2W})}

である。

 

 確率の離散集合{ \displaystyle p_1,p_2,\cdots,p_n}エントロピーは、

{ \displaystyle  H = -\sum p_i \log p_i}

で定義されていた。

 同様の方法で、確率密度関数{ \displaystyle p(x)}を持つ連続分布のエントロピーを定義すると、次のようになる。

(n次元分布{ \displaystyle p(x_1,x_2,\cdots,x_n)}についても同様に拡張できる)

{ \displaystyle  H = -\int_{-\infty}^{\infty}p(x) \log p(x) dx}

 

 連続分布のエントロピーは、離散分布の場合に成り立つ性質の大部分を有するが、特に次のようなものがある。

  1. もし、xが空間上のある体積vになるように制限されているならば、個の体積に置ける{ \displaystyle p(x)}を定数{ \displaystyle \frac{1}{v}}にしたとき、{ \displaystyle H(x)}は最大値{ \displaystyle \log v}をとる。

  2. 任意の2つの変数x,yについて、次式が成り立つ。
    { \displaystyle  H(x,y) \leq H(x) + H(y)}

  3. 平均された分布{ \displaystyle p'(y)}エントロピーは、元の分布{ \displaystyle p(x)}エントロピーに等しいか、それより大きい。

  4. { \displaystyle  H(x,y) = H(x) + H_x(y) = H(y) + H_y(x)}
    ならびに
    { \displaystyle H_x(y) \leq H(y)}
    が成り立つ。

  5. { \displaystyle p(x)}を1次元の分布とする。
    { \displaystyle x}の分散が{ \displaystyle \sigma}に固定されているという条件の下で、最大のエントロピーを与える{ \displaystyle x}の形はガウス分布になる。

  6. 分散{ \displaystyle \sigma}を有する1次元ガウス分布エントロピーは、次式で与えられる。
    { \displaystyle  H(x) = \log \sqrt{2\pi e}\sigma}

  7. (省略)

  8. 離散の場合、エントロピーは、確率変数の乱雑度を絶対的に測るものであるのに対し、連続の場合、測定は座標系に対して相対的である。

  9. (省略)

 

 

関数のアンサンブルによるエントロピー

 ある帯域幅W[Hz]に制限されている関数のエルゴード的アンサンブルを考える。

 n個の連続する標本点の振幅が従う確率密度関数{ \displaystyle p(x_1,x_2,\cdots,x_n)}によってあらわす。

 このアンサンブルの1自由度あたりのエントロピーH'は次のように定義される。

{ \displaystyle  H' = - \lim_{n \to \infty} \frac{1}{n} \int \cdots \int p(x_1,x_2,\cdots,x_n) \times \log p(x_1,x_2,\cdots,x_n) dx_1\cdots dx_n}

 

 個数nではなくn個の標本に必要な時間T秒で割ることによって、1秒あたりのエントロピーHも同様に定義できる。

 n = 2TWなので、H = 2WH'が成り立つ。

 

 確率過程が白色熱雑音*3の場合、確率密度関数pはガウス分布に従うので、次式が成り立つ。

{ \displaystyle  H' =  \log \sqrt{2\pi e N}}

{ \displaystyle  H  = W\log  {2\pi e N}}

 

 連続の場合、アンサンブルのエントロピーHを取り扱わず、エントロピーから導出されるエントロピー電力という量を取り扱う方が便利である。

→この量は「元のアンサンブルと同じ帯域制限、同一のエントロピーを持つ白色雑音の電力」として定義される。

 アンサンブルのエントロピーをH'とすると、そのエントロピー電力は次式で与えられる。

{ \displaystyle  N_1 = \frac{1}{2\pi e}\exp(2H')}

 

 白色雑音は与えられた電力に対して最大のエントロピーを有しているので、任意の雑音のエントロピー電力は、実際の電力よりも小さいかそれに等しい。

 

定理14:

 帯域Wにおいて1自由度辺り{ \displaystyle H_1}エントロピーを有するアンサンブルが特性{ \displaystyle Y(f)}を有するフィルタを通過するとき、出力アンサンブルのエントロピーは、次のようになる。

{ \displaystyle  H_2 = H_1 + \frac{1}{W}\int_{W}\log|Y(f)|^2df}

 ⇒よくわかんないので説明スキップ!

 

 もし関数の2つのアンサンブル{ \displaystyle f_\alpha(t)}{ \displaystyle g_\beta(t)}を有しているならば、新しいアンサンブルを「加算」によって構成することが出来る。

定理15:

 2つのアンサンブル平均電力を{ \displaystyle N_1}{ \displaystyle N_2}とし、それらのエントロピー電力を{ \displaystyle \overline{N_1}}{ \displaystyle \overline{N_2}}とする。

 このとき、和のエントロピー電力{ \displaystyle \overline{N_3}}は、

{ \displaystyle  \overline{N_1} + \overline{N_2} \leq \overline{N_3} \leq N_1 + N_2}

によって制限される。

 

 

【今回の三行まとめ】

  • 連続変数を扱う場合、その関数のアンサンブル(確率測度を伴う集合体)を考えなければならない。
  • ある条件の元では、有限個のサンプルを取り出すことにより連続関数を完全に再現することが出来る。連続関数は離散的に分割でき、連続分布のエントロピーは、離散分布の場合に成り立つ性質の大部分を有する。
  • 連続の場合、アンサンブルのエントロピーHを取り扱わず、エントロピーから導出されるエントロピー電力という量を取り扱う方が便利、らしい。

 

【今回の宿題】

  • そもそも「アンサンブル」「測度」という概念に馴染みがない。
  • エントロピー電力」を扱うことのメリット
  • [定理14]で議論されている「利得」「エントロピー損失」など

 

……要点だけまとめると上記3点。あとはその数学的な解説、帰結が大半だったような。

 分量的には長くなったが、筋は分かりやすかったのでまとまるのにはあまり苦労しなかった。

 数学の世界の「関数によって構成される空間」みたいな発想に馴染みがないので、そのあたりはちゃんと理解できているかは不安。教養課程での数学(微積分の発展とか線形代数とか)、全然面白くなかったから真面目にやらなかったんだよね。

 

それでは

 

KnoN(110min)

*1:測度とは「面積、体積、個数といった「大きさ」に関する概念を精緻化・一般化したもの」らしい。

参考 測度論 - Wikipedia

*2:エルゴード過程についてはすでに説明した。
 エルゴード的な確率過程を持つものは、十分な長さのサンプルをそこから取り出した時、その特性が母集団の特性と一致する。

参考 エルゴード定理 - Wikipedia

*3:白色雑音とは、全ての周波数帯域においてエネルギーが均一に混入した雑音のこと。いわゆるホワイトノイズ。

参考 白色雑音とは - IT用語辞典 Weblio辞書