KnoNの学び部屋

大学に8年在籍した後無事に就職した会社員が何かやるところ。

通信の数学的理論　その5

◇情報と交流 6.『通信の数学的理論』

昨日、今日と比較的過ごしやすい気候です。 

 

引き続き

通信の数学的理論 (ちくま学芸文庫)（クロード・シャノン、2009）

の

Ⅳ　連続通信路

をやります。

 

通信の数学的理論 (ちくま学芸文庫)

通信の数学的理論 (ちくま学芸文庫)

 

 

Ⅳ　連続通信路

　信号・雑音が連続変数である場合の通信路、特にその容量をいかに定めるかについて、

  • 一般的な場合
  • 平均電力が制限された場合
  • ピーク電力が制限された場合

などに分けて考える。

 

連続通信路の容量

　連続通信路における通信路容量Cは、信号として可能なアンサンブル上で入力を変化させたときに得られる伝送速度Rの最大値として定義される。

{ \displaystyle 　R = H(x) -H_y(x)}

 

　特に「信号と（確率的に）独立な雑音が加えられた場合」が重要となる。

　このとき、信号xが乱されてyになる確率密度{ \displaystyle P_x(y)}は、{ \displaystyle n = y - x}のみよって定まる関数

{ \displaystyle 　P_x(y) = Q(y - x)}

となり、信号とは独立な分布{ \displaystyle Q(n)}のエントロピー{ \displaystyle H(n)}を雑音に割り当てることが可能になる。

定理16：

　信号と雑音が独立であり、しかも受信信号が送信信号と雑音の和であるならば、伝送の速度は、受信信号のエントロピーから雑音のエントロピーを減じたものとして、次のように定まる。

{ \displaystyle 　R = H(y) - H(n)}

　またこの時の通信路容量は次のようになる。

{ \displaystyle 　C = \max H(y) - H(n)}

 →{ \displaystyle H(n)}は{ \displaystyle P(x)}とは独立なので、Rを最大にするには受信信号のエントロピー{ \displaystyle H(y)}を最大化しなければならない。

 

平均電力の制限された通信路容量

　雑音が白色熱雑音であり、送信信号がある平均電力Pに制限されているとき、[定理16]の簡単な応用例が生じる。*1

　平均雑音電力をNとすると、受信信号は平均電力P+Nを有する。受信信号に対する最大のエントロピーが生ずるのは、受信信号が同様に白色雑音のアンサンブルになる場合である。

定理17：

　平均送信電力がPに制限されているとき、電力Nの白色熱雑音によって乱された帯域Wの通信路の容量は、次のように与えられる。

{ \displaystyle 　C = W\log\frac{P + N}{N}}

 →十分複雑な符号化システムであれば、任意に小さい誤りの頻度で、2元記号を速度{ \displaystyle W\log_{2}\frac{P + N}{N}}[ビット/秒]の速度で伝送できる、ということを意味する。

　この極限の伝送速度を近似するためには、送信信号は統計的な性質において白色信号を近似しなければならない。

 

　任意の（必ずしも白色熱雑音ではない）雑音の場合、通信路容量Cを決定する際の最大化問題は明白には解くことが出来ない。

→しかしながら、雑音電力{ \displaystyle N}と雑音エントロピー電力{ \displaystyle N_1}を用いて、Cに対する上界と下界*2を定めることが出来る。

定理18：

　任意の雑音によって乱された帯域Qの通信路の容量は、次の不等式によって制限される。

{ \displaystyle 　W\log\frac{P + N_1}{N_1} \leq C \leq W\log \frac{P + N}{N_1}}

　ただし、

　　P：平均送信電力

　　N：平均雑音電力

　　N1：雑音のエントロピー電力

である。

 

　Pが増加するに連れて[定理18]の上界と下界は互いに近づき、漸近的な速度として次式が得られる。

{ \displaystyle 　W\log\frac{P + N_1}{N_1}}

　もし雑音自身が白色ならば、{ \displaystyle N = N_1}であり、[定理17]で示した式に帰着される。

定理19：

　与えられた送信電力Pに対して、容量を

{ \displaystyle 　C = W\log\frac{P + N + \eta}{N_1}}

に等しくなるように設定すれば、Pの増加につれて{ \displaystyle \eta}は単調減少し、極限値ゼロに近づく。 

 →最良の信号分布{ \displaystyle p(x)}が雑音の分布{ \displaystyle q(x)}に加えられたとき、それによって{ \displaystyle P_1 + N - \eta}をエントロピー電力とする受信分布が与えられる、ことを意味する。

→雑音が何であれ、Pが十分大きければ、受信信号はP + Nに近づくエントロピー電力を有するという意味で、近似的に白色雑音である。

 

 

ピーク電力制限のある通信路容量 

　ある応用例では、出力の平均電力ではなく瞬時電力のピークによって送信機が制限される。

→このとき、通信路容量を計算する問題は、アンサンブルに属する全ての関数{ \displaystyle f(x)}が全てのtにおいて、例えば{ \displaystyle \sqrt{S}}（S：ピーク信号電力）より小さいかそれに等しいという制約条件の下で、

{ \displaystyle 　H(y) - H(n)}

を最大化する問題に等しい。

定理20：

　電力Nの白色熱雑音によって乱された帯域Wに対する通信路容量Cは、Sを許容ピーク送信電力として、次式によって制限される。

{ \displaystyle 　C \geq W \log\frac{2}{\pi e^3}\frac{S}{N}}

　十分大きな{ \displaystyle \frac{S}{N}}に対して、次式が成り立つ（ただし、{ \displaystyle \epsilon}は任意に小さい数）。

{ \displaystyle 　C \leq W\log\frac{\frac{2}{{\pi e}}S + N}{N}(1 + \epsilon)}

　{ \displaystyle \frac{S}{N} → 0}につれて（そして帯域Wがゼロから始まると仮定して）、次式が成り立つ。

{ \displaystyle 　\frac{C}{W \log\left(1 + \displaystyle \frac{S}{N}\right)} → 1}

 

 

【今回の三行まとめ】

  • 連続通信路における通信路容量Cは、信号として可能なアンサンブル上で入力を変化させたときに得られる伝送速度Rの最大値として定義される[定理16]。
  • 平均電力が制限されている場合、白色熱雑音であれば通信路容量は一意に定まり、そうでなければ不等式による近似によって表現される[定理17,18]。
  • ピーク電力が制限されている場合、不等式による近似で表現される。下界が全ての場合に成り立つのに対し、上界はピーク電力が十分大きい場合の暫定的な値であることに注意が必要である[定理20]

 

【今回の宿題】

  • この文脈での「電力」の意味

 

……前回に引き続きほぼ数学の話。「連続通信における通信路容量の定義の仕方」さえ確認すれば、あとはそれを具体的にどう求めるかということに尽きる。

　大切なのは「情報源のエントロピー」と「失われた情報量（あいまい度、エキヴォケーション）」をいかにして定めるか。

　もう一章、連続情報源に関する話をしてから、明後日にまとめをやってこのテキストを終わりたいと思います。

 

それでは

 

KnoN（100min）

*1:ここで用いられている"電力"の概念が、イマイチよくわからない。

*2:「じょうかい」と「かかい」。大雑把にいうと不等式の大きい方と小さい方。
参考　順序集合 - Wikipedia