読者です 読者をやめる 読者になる 読者になる

KnoNの学び部屋

落ち着きのない大学院生が専攻に関係ない(むしろそっちのけで)学んだコトを記録しておく場所

通信の数学的理論 その3

◇情報と交流 6.『通信の数学的理論』

 今日は大学の講義の一環で、ジークハルト・ネッケルというドイツの社会学者の先生の講演を聞きに行きました。

感情資本主義」という題目で、自分なりに内容をまとめるなら、

  • 資本主義は一般に人々から感情を奪うと思われているが、それは正確ではない。
  • 特にサービスの現場において、「モチベーションをコントロールすること」「感情を作り出すこと」が求められている。
    →リーダーはなにより部下のやる気を引き出さなければならない、接客業は笑顔を欠かさず真心をこめてサービスしなければならない。
  • 自発的なはずの感情を客観的に扱い、制御したり作り出したりする対象にしてしまった結果、 どれが自分の「本当の感情」なのかが分からなくなり、「感情の燃え尽き症候群」「感情の凍結」のような問題が起こるようになってしまった。

みたいな感じです。

 なかなか面白い話でしたが、記事の本筋ではないので紹介に留めます。

 

引き続き

通信の数学的理論 (ちくま学芸文庫)クロード・シャノン、2009)

Ⅱ 雑音のある離散的通信路

をやります。

 

通信の数学的理論 (ちくま学芸文庫)

通信の数学的理論 (ちくま学芸文庫)

 

 

Ⅱ 雑音のある離散的通信路

 「離散的」「無雑音」だった前回に対し、「離散的」「雑音あり」の設定を考える。

→送信機によって送られた信号と受信信号が必ずしも同じではない、ということを意味する。

 

雑音のある離散的通信路の表現

 雑音による問題は2つの場合に分けることが出来る。

  • 雑音による影響が一定。
    →受信信号が送信信号の決定的な関数であり、逆関数を持つならば(1対1に対応するならば)、それを作用させることで歪みを直すことが出来る。
  • 雑音による影響が一定ではない場合。
    →受信信号Eは、送信信号Sと雑音Nを変数とする関数として仮定できる。
     { \displaystyle E = f(S,N) }

 

 一般に、雑音Nは適切な確率過程によって表現できる。

{  \frac{通信路の状態:α}{送信された記号:i} → \frac{通信路の状態:β}{受信された記号:j} }

と遷移する確率を表すものとして、次の有限個の状態と確率の組を仮定する。

{ \displaystyle   p_{\alpha,i}(\beta,j) }

 

 雑音のある通信路に情報源が接続されたならば、情報源と雑音という2つの統計的な過程が作用しており、多数の計算できるエントロピーが存在する。

 これらには次の関係式が成り立つ。

{ \displaystyle  H(x,y) = H(x) + H_x(y) = H(y) + H_y(x) }

 

 

あいまい度と通信路容量

 通信路に雑音がある場合、元のメッセージ・送信された信号を確実に復号することは一般に不可能である。

→しかし、雑音に打ち勝つという点で最適な情報伝達法が存在する。

 

例:

 2つの可能な信号0と1があり、確率{ \displaystyle p_0 = p_1 = \frac{1}{2} }、1000[記号/秒]の速度でこれらの記号を伝送しているとする。すなわち情報源は1000[ビット/秒]の速度で情報を生成している。

 伝送の間の雑音によって、平均として{ \displaystyle \frac{1}{100} }の割合で誤りが生じるとする。

 このとき、実質の情報の伝送速度はいくらになるのだろうか?

 

  •  1000記号中あやまりが10記号生じる、だから990[ビット/秒]、というのは正しくない。
    →どこで誤りが起きているか、という知識を受信者が欠いているから。
  • 極端な例として受信信号が送信信号とはまったく独立だと考える。
    →受信信号の半分は「偶然に一致」するので、500[ビット/秒]の伝送が保障されていると言える。
    →しかしこれが有用なものだとは、とても言うことは出来ない。

 

 情報伝送の量に対して適用すべき適切な修正は、「受信信号において失われている量=信号を受信したとき、実際に送られたのがどの信号化というあいまい度」に対してである。

→この失われた情報の尺度として、「受信信号を知った時のメッセージの条件付き確率」を用いるのが合理的である。*1

 

 このアイデアに従えば、実際の伝送速度Rは情報の生成速度(=情報源のエントロピー)から条件付きエントロピーの平均速度を減じることで得られる。

{ \displaystyle  R = H(x) - H_y(x) }

 

{ \displaystyle  H_y(x)}:受信信号yが分かっているときに、実際に信号xが送信されていたという条件付き確率のエントロピー

→これを「あいまい度(エキヴォケーション)」と称することにする。

 

 上記の例でこれを計算すると

{ \displaystyle  H_y(x) = 81}[ビット/秒]

{ \displaystyle  R = H(x) - H_y(x) = 919}[ビット/秒]

となる。

 

 ある通信システムと、何が送信されて何が受信されたかを(雑音による誤りも含めて)共に見ることの出来る観測者を考える。

 この観測者は復元されたメッセージにおける誤りを観察し、「訂正通信路」を通じて訂正データを受信点に送ることで、受信者が誤りを訂正することを可能にしている。*2

 

定理10:

 もし訂正通信路が{ \displaystyle H_y(x)}に等しい容量をゆうするならば、訂正データをこの通信路を通じて送れるように符号化し、かつ任意に小さい割合{\displaystyle \epsilon}の誤りを除いて全ての誤りを訂正することが出来る。

 これは、もし訂正通信路の容量が{ \displaystyle H_y(x)}よりも小さければ、不可能である。

 →{ \displaystyle H_y(x)}は受信地点置いて受信メッセージを訂正するために供給されなければ成らない毎秒あたりの追加の情報量。

 

 伝送速度Rは、上で示した以外に計算通りの方法で表現できる。

{ \displaystyle  R = H(x) - H_y(x) = H(y) - H_x(y) = H(x) + H(y) - H(x,y) }

  1. 送信された情報量 - 何が送られたのかの不確かさ
  2. 受信された情報量 - 雑音による情報の部分
  3. 2つの情報量の和 - 同時エントロピー:2つの情報の共通の情報量

→このように、3つの式は全て何らかの直観的な意味を有している。

 

 雑音を有する通信路の容量Cは、可能な伝送速度の最大値となり、次のように定義できる。

{ \displaystyle  C = \max (H(x) - H_y(x)) }

 

 

雑音を有する離散的通信路の基本定理

 雑音があるとき、情報を確実に送ることは出来ない。

→しかし情報を冗長な形式で送ることによって、誤り率を減少できる。

→同じメッセージを何度も送れば、統計的な検討から「正しい情報」を選択できる。

→適切な符号化により、通信路を通じて情報を望むだけ小さな誤りの頻度あるいはあいまい度を満たしつつ速度Cで送ることが出来る。

 

定理11:

 離散的通信路が容量Cを有するとし、離散的情報源の毎秒あたりのエントロピーがHであるとする。

  1. もし{ \displaystyle H \leqq C }であるならば、ある符号化システムが存在して、情報源の出力は、任意に小さい誤りの頻度で(または任意に小さいあいまい度で)通信路を通じて送信できる。
  2. もし{ \displaystyle H > C }ならば、あいまい度が{ \displaystyle H - C + \epsilon }以下になるように情報源を符号化できる。ただし{ \displaystyle \epsilon}は任意に小さいものとする。
  3. また、あいまい度が{ \displaystyle H - C }以下になるような符号化法は存在しない。

 

 長くなるので証明は省略。

 

議論

 証明の示す方法により理想的な符号化の良い近似が出来る(省略しちゃったけど)。

→しかし一般に、この方法での近似列の明確な記述は今のところ得られていない。

→ランダム系列を上手く近似する明確な構成法を与えるのが難しいから。

 

 理想的な符号化の近似(=雑音が元の信号を変えても、妥当な方法で復元できる)は、ある種の冗長度という犠牲を払うことで行われる。

→特に、情報源がすでにある冗長度を有しており、通信路へ適合させる際にそれを取り除く試みが行われていないのなら、この冗長度は雑音に対抗するのに役立つ。

 

 雑音のない場合のように、理想的な符号化に近づくためには遅延が要求される。

→遅延には「受信地点で元のメッセージに関してある種の判定を行う」ほかに、「陣号に影響を与える雑音のサンプルを多く収集する」という付加的な機能がある。

 

定理12:

 { \displaystyle \lim_{T \to \infty} \frac{\log {N(T,q)}}{T} = C }

が成り立つ。

 ただし、C:通信路容量、T:信号の持続時間、q:誤りの生じる確率であり、qは0でも1でもないとする。

 →信頼性の限界をどのように設定しても、時間Tが十分大きいとき、約CTビットに対応する十分なメッセージを時間Tの間に高い信頼性で識別することが出来る。

 

 

【今回の三行まとめ】

  • 雑音がある場合、「情報源」「雑音」という2つの統計的な過程が作用するものとしてエントロピーを計算して扱える。
  • 「受信信号yが分かっているときに、実際に信号xが送信されていたという条件付き確率のエントロピー」(=あいまい度、エキヴォケーション)を考慮することで、実際の伝送速度Rとそのときの通信路容量Cを求められる。
  • 信頼性の限界をどのように設定しても、時間が充分に大きければ、通信路容量C、つまり通信路の実質的な伝送速度を求めることが出来る。

 

【今回の宿題】

  • 「訂正通信路」のあたりの話。
  • [定理11]の証明の確認をもう一度。
  • TeXの記法:改行位置を揃える、文中で[ ]を使う。

 

……(他に比べて)短めだから一回でやってしまおう、と思ったのが間違いでした。

 TeXに不慣れなのもあって時間がかかる、かかる。それを抜いても字数が4000半ばまで伸びる、伸びる。

 素直に分割してしまえば良かったです。

 

 内容は多分わかったかな、みたいな。以前にもやったエキヴォケーションが話題の中心。

 数式の変形とその解釈を追えると理解の度合いがぐっと増す感じです。

 

 今日時間を使いすぎたので明日は簡易更新になる予定。

 

 それでは

 

KnoN(120+120min)

 

哲学入門 (ちくま新書)

哲学入門 (ちくま新書)

 

 

*1:トンズラーの例を思い出すべし。

哲学入門 その3(後編) - KnoNの学び部屋

*2:ここ、よくわからない。というかいつのまに「観測者」なんて出てきた?