クロード・シャノンとシャノンの通信路符号化定理

ショートカット: 違い、類似点、ジャカード類似性係数、参考文献。

クロード・シャノンとシャノンの通信路符号化定理の違い

クロード・シャノン vs. シャノンの通信路符号化定理

ード・エルウッド・シャノン（Claude Elwood Shannon, 1916年4月30日 - 2001年2月24日）はアメリカ合衆国の電気工学者、数学者。20世紀科学史における、最も影響を与えた科学者の一人である。 情報理論の考案者であり、情報理論の父と呼ばれた。情報、通信、暗号、データ圧縮、符号化など今日の情報社会に必須の分野の先駆的研究を残した。アラン・チューリングやジョン・フォン・ノイマンらとともに今日のコンピュータ技術の基礎を作り上げた人物として、しばしば挙げられる。. 情報理論において、シャノンの通信路符号化定理（シャノンのつうしんろふごうかていり、noisy-channel coding theorem）とは、通信路の雑音のレベルがどのように与えられたとしても、その通信路を介して計算上の最大値までほぼエラーのない離散データ（デジタル情報）を送信することが可能であるという定理である。この定理は、1948年にクロード・シャノンによって発表されたが、これはハリー・ナイキストとラルフ・ハートレーの初期の仕事とアイデアに一部基づいていた。シャノンの第一基本定理（情報源符号化定理）に対してシャノンの第二基本定理とも言い、単にシャノンの定理とも言う。 上記の「計算上の最大値」を通信路容量（またはシャノン限界、シャノン容量とも）といい、特定の雑音レベルについて、通信路の理論上の最大情報転送である。.

ハリー・ナイキスト

ハリー・ナイキスト（英語: Harry Nyquist, スウェーデン語: Harry Theodor Nyqvist, 1889年2月7日 - 1976年4月4日)はスウェーデン生まれの物理学者で自動制御理論および情報理論の発展に貢献した。スウェーデンでの名はハリー・テオドール・ニュークヴィスト。 スウェーデン・ヴェルムランド地方ヴェルムランド県シール市のNilsbyに生れた。1907年に一家でアメリカ合衆国に移住して帰化した。ノースダコタ大学とイェール大学で学んだ後、1917年から1934年までAT&T研究所に勤め、その後ベル研究所に移った。 ベル研究所では熱雑音、フィードバック増幅器の安定性などの研究を行った。ナイキストが研究した雑音は、同じくベル研究所で熱雑音の研究に取り組んだジョン・バートランド・ジョンソンに因み、ジョンソン-ナイキスト雑音と呼ばれる。 情報の伝送に必要な帯域の決定に関する理論は Certain factors affecting telegraph speed Nyquist (1924).として発表され、これは後にクロード・シャノンによって発展させられる情報理論の基になった。 1927年にナイキストはアナログ信号をデジタルサンプリングして、再現するのにアナログ信号の周波数の 2 倍が必要であることを Telegraph Transmission Theory Nyquist (1928).の中で示した。ナイキスト-シャノンの標本化定理と呼ばれる。 1960年にIRE栄誉賞（IEEE栄誉賞の前身）を受賞。 晩年はテキサス州で隠居し、1976年にハーリンジェンで死去した。.

クロード・シャノンとハリー・ナイキスト · シャノンの通信路符号化定理とハリー・ナイキスト · 続きを見る »

エントロピー

ントロピー（entropy）は、熱力学および統計力学において定義される示量性の状態量である。熱力学において断熱条件下での不可逆性を表す指標として導入され、統計力学において系の微視的な「乱雑さ」「でたらめさ」と表現されることもある。ここでいう「でたらめ」とは、矛盾や誤りを含んでいたり、的外れであるという意味ではなく、相関がなくランダムであるという意味である。を表す物理量という意味付けがなされた。統計力学での結果から、系から得られる情報に関係があることが指摘され、情報理論にも応用されるようになった。物理学者ののようにむしろ物理学におけるエントロピーを情報理論の一応用とみなすべきだと主張する者もいる。 エントロピーはエネルギーを温度で割った次元を持ち、SIにおける単位はジュール毎ケルビン（記号: J/K）である。エントロピーと同じ次元を持つ量として熱容量がある。エントロピーはサディ・カルノーにちなんで一般に記号 を用いて表される。.

エントロピーとクロード・シャノン · エントロピーとシャノンの通信路符号化定理 · 続きを見る »

シャノンの情報源符号化定理

情報理論において、シャノンの情報源符号化定理（シャノンのじょうほうげんふごうかていり、Shannon's source coding theorem, noiseless coding theorem）は、データ圧縮の可能な限界と情報量（シャノンエントロピー）の操作上の意味を確立する定理である。1948年のクロード・シャノンの論文『通信の数学的理論』で発表された。シャノンの第二基本定理（通信路符号化定理）に対してシャノンの第一基本定理とも言う。 情報源符号化定理によれば、（独立同分布(iid)の確率変数のデータの列の長さが無限大に近づくにつれて）、（記号1つ当たりの平均符号長）が情報源のシャノンエントロピーよりも小さいデータを、情報が失われることが事実上確実ではないように圧縮することは不可能である。しかし、損失の可能性が無視できる場合、符号化率を任意にシャノンエントロピーに近づけることは可能である。 シンボルコードの情報源符号化定理は、入力語（確率変数と見なされる）のエントロピーとターゲットアルファベットの大きさの関数として、符号語の可能な期待される長さに上限と下限を設定する。.

クロード・シャノンとシャノンの情報源符号化定理 · シャノンの情報源符号化定理とシャノンの通信路符号化定理 · 続きを見る »

シャノン＝ハートレーの定理

ャノン・ハートレーの定理（Shannon–Hartley theorem）は、情報理論における定理であり、ガウスノイズを伴う理想的な連続アナログ通信路の通信路符号化を定式化したものである。この定理から、そのような通信路上で誤りなしで転送可能なデータ（すなわち情報）の最大量であるシャノンの通信路容量が求められる。このとき、ノイズの強さと信号の強さが与えられることで帯域幅が決定される。この定理の名称は、アメリカの2人の電子工学者クロード・シャノンとラルフ・ハートレーに由来している。.

クロード・シャノンとシャノン＝ハートレーの定理 · シャノンの通信路符号化定理とシャノン＝ハートレーの定理 · 続きを見る »

情報

情報（じょうほう、英語: information、ラテン語: informatio インフォルマーティオー）とは、.

クロード・シャノンと情報 · シャノンの通信路符号化定理と情報 · 続きを見る »

情報理論

情報理論（じょうほうりろん、Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。 情報理論の基本的な応用としては、ZIP形式（可逆圧縮）、MP3（非可逆圧縮）、DSL（伝送路符号化）などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。.

クロード・シャノンと情報理論 · シャノンの通信路符号化定理と情報理論 · 続きを見る »