通信の数学的理論 その4
今夜は川崎フロンターレの試合を見に行こうと思っていたのだけど、天気が怪しい&チケットほぼ完売の大入りらしい、でどうなることやら。
チケットは招待券持ってるからいいけど、入れたところで座る席がないやも知れぬ。
引き続き
通信の数学的理論 (ちくま学芸文庫)(クロード・シャノン、2009)
の
Ⅲ 連続情報
をやります。
いつにもまして数式ばかり。
- 作者: クロード・E.シャノン,ワレンウィーバー,植松友彦
- 出版社/メーカー: 筑摩書房
- 発売日: 2009/08/10
- メディア: 文庫
- 購入: 7人 クリック: 80回
- この商品を含むブログ (28件) を見る
Ⅲ 連続情報
ここまで「離散的」な信号を扱ってきた。
ここからは信号やメッセージ、その両方が「連続変数」である場合を考えて行く。
信号・メッセージの連続体を、多数だが有限個の小さな領域に分割し、離散的だとみなした場合からの極限過程を経ることで、かなりの精度で近似を求めることが出来る。
⇒「積分」と同じ発想。
関数のアンサンブル
連続の場合、「関数の集合」と「関数のアンサンブル」を取り扱わなくてはならない。
- (関数の)集合=時間を変数とする関数を単に集めたもの
- (関数の)アンサンブル=確率測度*1を伴う関数の集合。
→確率測度によって、ある性質を持つ集合に属する関数の確率を決定することが出来る。
関数のアンサンブルには次の性質が指摘できる。
- もし全ての関数を任意に固定された量の時間だけシフトさせても同一のアンサンブルが得られるならば、そのアンサンブルは定常である。
- もしアンサンブルが定常で、その集合に属する関数の定常な部分集合で確率が0か1以外になるものがなければ(=必ず0か1になるのなら)、そのアンサンブルはエルゴード的*2である。
困難は分割せよ
時間関数が帯域0〜W[Hz]に制限されているならば、次の成果に示されているように、秒感覚の離散的な点列上の座標を与えることで、この関数は完全に決定される。
→有限個のサンプルから連続関数を定めることが出来る。
定理13:
がWを越える周波数成分を有していないとする。
このとき
が成り立つ。ただし
である。
確率の離散集合のエントロピーは、
で定義されていた。
同様の方法で、確率密度関数を持つ連続分布のエントロピーを定義すると、次のようになる。
(n次元分布についても同様に拡張できる)
連続分布のエントロピーは、離散分布の場合に成り立つ性質の大部分を有するが、特に次のようなものがある。
- もし、xが空間上のある体積vになるように制限されているならば、個の体積に置けるを定数にしたとき、は最大値をとる。
- 任意の2つの変数x,yについて、次式が成り立つ。
- 平均された分布のエントロピーは、元の分布のエントロピーに等しいか、それより大きい。
ならびに
が成り立つ。- を1次元の分布とする。
の分散がに固定されているという条件の下で、最大のエントロピーを与えるの形はガウス分布になる。 - 分散を有する1次元ガウス分布のエントロピーは、次式で与えられる。
- (省略)
- 離散の場合、エントロピーは、確率変数の乱雑度を絶対的に測るものであるのに対し、連続の場合、測定は座標系に対して相対的である。
- (省略)
関数のアンサンブルによるエントロピー
ある帯域幅W[Hz]に制限されている関数のエルゴード的アンサンブルを考える。
n個の連続する標本点の振幅が従う確率密度関数をによってあらわす。
このアンサンブルの1自由度あたりのエントロピーH'は次のように定義される。
個数nではなくn個の標本に必要な時間T秒で割ることによって、1秒あたりのエントロピーHも同様に定義できる。
n = 2TWなので、H = 2WH'が成り立つ。
確率過程が白色熱雑音*3の場合、確率密度関数pはガウス分布に従うので、次式が成り立つ。
連続の場合、アンサンブルのエントロピーHを取り扱わず、エントロピーから導出されるエントロピー電力という量を取り扱う方が便利である。
→この量は「元のアンサンブルと同じ帯域制限、同一のエントロピーを持つ白色雑音の電力」として定義される。
アンサンブルのエントロピーをH'とすると、そのエントロピー電力は次式で与えられる。
白色雑音は与えられた電力に対して最大のエントロピーを有しているので、任意の雑音のエントロピー電力は、実際の電力よりも小さいかそれに等しい。
定理14:
帯域Wにおいて1自由度辺りのエントロピーを有するアンサンブルが特性を有するフィルタを通過するとき、出力アンサンブルのエントロピーは、次のようになる。
⇒よくわかんないので説明スキップ!
もし関数の2つのアンサンブルとを有しているならば、新しいアンサンブルを「加算」によって構成することが出来る。
定理15:
2つのアンサンブル平均電力をととし、それらのエントロピー電力をととする。
このとき、和のエントロピー電力は、
によって制限される。
【今回の三行まとめ】
- 連続変数を扱う場合、その関数のアンサンブル(確率測度を伴う集合体)を考えなければならない。
- ある条件の元では、有限個のサンプルを取り出すことにより連続関数を完全に再現することが出来る。連続関数は離散的に分割でき、連続分布のエントロピーは、離散分布の場合に成り立つ性質の大部分を有する。
- 連続の場合、アンサンブルのエントロピーHを取り扱わず、エントロピーから導出されるエントロピー電力という量を取り扱う方が便利、らしい。
【今回の宿題】
……要点だけまとめると上記3点。あとはその数学的な解説、帰結が大半だったような。
分量的には長くなったが、筋は分かりやすかったのでまとまるのにはあまり苦労しなかった。
数学の世界の「関数によって構成される空間」みたいな発想に馴染みがないので、そのあたりはちゃんと理解できているかは不安。教養課程での数学(微積分の発展とか線形代数とか)、全然面白くなかったから真面目にやらなかったんだよね。
それでは
KnoN(110min)