通信の数学的理論 その1（前編）
予想以上にめんどくさい文章。
というかしばらく使ってなかったから頭の回転が悪い？
今回からは
通信の数学的理論 (ちくま学芸文庫)（クロード・E・シャノン、2009[1949]）
をやります。
「通信（communication）」の基礎理論を確認するのが目的。
まずは
ワレン・ウィーバーによる解説文、
通信の数学的理論への最近の貢献
から。
- 作者: クロード・E.シャノン,ワレンウィーバー,植松友彦
- 出版社/メーカー: 筑摩書房
- 発売日: 2009/08/10
- メディア: 文庫
- 購入: 7人 クリック: 80回
- この商品を含むブログ (28件) を見る
通信の数学的理論への最近の貢献
◯通信（communication）とは、ここでは「ある人の心が他人の心に影響を及ぼす可能性のある手段全て」を含むものである。
→文書や会話のみならず、芸術全般、それどころか人間の全ての行為、あるいはそれ以上のこをを含む。今回は「会話による通信」を念頭において話を進めるが、他のことにもよくあてはまる議論である。*1
◯通信という広いテーマに関して、3つのレベルの問題があるように思われる。
→しかし実際のところ、これらの領域は全て不可分に重なりあっている。
- レベルA：技術的な問題、記号伝達の正確さ
- レベルB：意味的な問題、意図伝達の正確さ
→そもそも意図を「理解した」とはどういうことか？*2 - レベルC：効果の問題、受信された意図の行動への影響
→全ての通信は受信者の行動に影響を与えることを目的とする。
意味的な問題・効果の問題は、技術的な問題の解析によって、ありうるということがわかった信号の正確さを利用することでして議論することが出来ない。
⇒技術的な問題が全ての根幹にある。
◯ここで議論される通信システムは次のようにモデル化される。
- 情報源：可能なメッセージの集合の中から、所望のメッセージを選ぶ
- 送信機：メッセージを信号に変換する
- 通信路：信号を伝達する
- 雑音源：望ましくない信号を加える
- 受信機：受信された信号をメッセージに変換する
- 受信者：メッセージを受け取る
このような通信システムにおいて、われわれが考えるべき課題は以下のことである。
- 情報の量をどのようにして測るのか。
- 通信路の容量をどのようにして測るのか。
- 効率の良い符号化過程にはどのような特徴があるのか。またそのときの通信速度は。
- ノイズの一般的な特徴とは何か。ノイズの影響はどこまで小さくできるのか。どこまで除去できるのか。
- 送信された信号が離散的ではなく連続的ならば、全体にどのような影響を与えるか。
◯通信理論において「情報」という言葉は特別な意味で用いられている。
→情報に重要なのは、実際に何を言うのかということよりも、何を言うことが出来るか。
→情報＝メッセージを選択する時の、選択の自由度
もっとも単純な場合、情報の量は、可能な選択肢の数の対数をとることで測られるものと定義される（単位：bit）。
→特に2を底としたものが都合が良い。用いるリレー（0/1のスイッチ）の数とそれによって扱える情報量が比例するから。
◯メッセージは通常、基本的な記号からなるとある集合の中から、情報源が記号の選択を連続して行い、ある系列を生み出すことによって出来上がる。
→その生成において確率が果たす役割は非常に重要。
ある確率に従って記号の列を生成するシステムのことを「確率過程」と呼ぶ。
→特に、直前に起きた事象に確率が依存する過程を「マルコフ過程」と呼ぶ。これが現実のメッセージを生成していると考えられる。*3
さらにマルコフ過程の一種に「エルゴード過程」と呼ばれるものがある。エルゴード過程であればどんなものでも、その標本列が適度に長くなると、系列全体の性質を表す傾向にある。
→エルゴード系はどのような標本列を選んでも全体を正しく代表する、安全で安心な統計的規則を示す。
◯マルコフ過程により生成される情報の量を適切に表現しうるものとして「エントロピー」の概念がある。
→物理学において、エントロピーは「ある状態の乱雑さの度合い」「とりうる選択肢の多さ」を示す。これは情報源の記述に転用できる。
◯ある情報源のエントロピーを計算した後に、このエントロピーと、情報源が同一の記号を用いるという制約条件の下でエントロピーが取りうる最大の値とを比較することが出来る。
→両者の比を「相対エントロピー」という。
1から相対エントロピーを引いた量は「冗長度」と呼ばれる。
→メッセージの構造の中で、送り手の自由な選択によってではなく、当の記号の用法を決める、広く受け入れられた統計的規則によって定まる部分のことを指す。
→この部分が欠けたとしても、メッセージに本質的な不備はないという意味で不必要（つまり冗長）な部分。*4
◯工学の観点からすると、通信システムは、情報源から生成されるメッセージならどんなものでも取り扱えるようにしなければならない。
→現実的には、「最も要求されそうな仕事には上手く処理するように設計して、稀な仕事に対してはやむなく効率性を落とす」ようにして対処するしかない。
→そのためにメッセージ全体の統計的な特徴を掴む必要がある。
……ちょっと一旦ここで中断。非常にしんどい。
前に読んでいたテキストが新書で読みやすい文章だったせいか、それとも単にしばらくこういう頭の働かせ方をしていなかったせいか、はたまた単に原文が悪いのか。
とにかく読むのにすごく疲れる。全然整理できなくてまた箇条書きのパターンだし。
予定になかったけど前後編に分割して、後半はもう一度読み直してからにします。
本としてみると薄いのに、裏切られた気分だよ！（逆切れ）
それでは
KnoN（--min）
