KnoNの学び部屋

大学に8年在籍した後無事に就職した会社員が何かやるところ。

通信の数学的理論 その1(後編)

まだ調子がでないけれど、とりあえずやってみる。

 

引き続き

通信の数学的理論 (ちくま学芸文庫)クロード・シャノン、2009)

通信の数学的理論への最近の貢献

の残りをやります。

 

通信の数学的理論 (ちくま学芸文庫)

通信の数学的理論 (ちくま学芸文庫)

 

 

 ◯通信路の容量は、送ることの出来る記号の数ではなく、むしろ情報量によって表した方がよい。

→選ばれた各記号がsビットの情報を表し、1秒間にn記号を伝達できるものとした時、この通信路の容量Cはnsビット毎秒となる。

 

◯送信機の機能は「メッセージを信号に変換すること」であるが、これをより複雑な「符号」とすることもできる。

→適切な符号化により平均伝送速度を向上させることが出来るが、それはC/Hよりは速くならない(情報源符号化定理)。

→しかし符号化が理想的なものに近づくほど、符号化の過程における遅延が長くなるというジレンマを持つ。

⇒実際のコミュニケーションにおける「符号化のコスト」を下げることが「わかりあうための技術」の目指すところ。

 

◯選択の自由度の増加・不確かさの増加・情報量の増加は互いに密接に関連しあっている。

⇒選択の自由度が高いからこそ、「何が選ばれたのか」が不確かになり、それが明らかになった時の「情報の価値」が高くなると言える。

→ノイズの混入は「不確かさ」を増大させる。しかしこれは「情報の価値」の増加を意味するものではない。

→ノイズが増やすのは「望ましくない不確かさ」。

 

……おそらくエキヴォケーションに関わる議論をしているのだが、いまいち要領を得ないのでここは保留にしておく。

 

◯信号が離散的なものから連続的なものになった状態を考える。

→拡張された理論は、数学的に若干難しく複雑になるが、本質的に異なるところはない。

 

 「持続時間がTで、周波数が0~Wの範囲に帯域制限されている連続信号は、2TW個の標本値によって完全に指定される」という数学的定理がある。

→連続的な曲線が離散的な値によって完全に再現できる。

 

◯通信というテーマを3つのレベルに分け、同時にそれらは不可分に関係しあっていると前回述べた。

→レベルA(技術的な問題)における数学的議論は、適用範囲が著しく一般的であり、その結果は単純かつ強力である。レベルB(意味的)・C(効果)における議論の根本を形成する。

 

 一方で、レベルB・Cにおける考察を行うには、「シャノンの通信システム・モデル」の模式図に何らかの要素を追加しなければ行けないのはほぼ間違いない。

→しかし必要なのは「ちょっとした追加」であって、「大幅な修正」ではないと考えられる。

→例えば受信者と受信機の間に「意味の受信機」をおく、情報源と送信機の間に「意味のノイズ」をおく、など。

⇒この「ちょっとした追加」の正体を明らかにし、モデルを更新することがKnoNの今の目標。

 

 

【今回の三行まとめ】

  • 「通信」というテーマは技術的・意味的・効果の3つの段階に分けることが可能なように思える。しかし実際は三者は密接に関係しており、特に技術的な側面が全体を強く規定している。
  • 複数の選択の自由度からどれが選ばれたかという確率的な事象が「情報」の概念を生む。情報を扱うには、選択肢の中から「何が起こりやすいか」に着目し、情報源の統計的性質を掴む必要がある。
  • 「符号化」「ノイズ」が通信における重要な観点。

 

【今回の宿題】

  • 「相対エントロピー」と「冗長度」について。
  • ノイズによる「不確かさ」について。

 

……やっぱり「不確かさ」の部分が何度読んでも頭に入ってこない。

 ずっとここで止まっている訳にも行かないんで飛ばしました。『哲学入門』のときのエキヴォケーションはすんなり理解できたと思うのだけど、やはり文章の問題か。それともどっかで勘違いがあるのか。

 次からはシャノンの論文本文に入る訳ですが、図と数式が多くてどうやって表記しようか悩んでます。

 添字はともかく指数をきれいに書けない……。

 

それでは

 

KnoN(60min)