エントロピー符号と符号

ショートカット: 違い、類似点、ジャカード類似性係数、参考文献。

エントロピー符号と符号の違い

エントロピー符号 vs. 符号

ントロピー符号（エントロピーふごう）とは、情報源アルファベットのシンボルに対し符号語を割り当てるコンパクト符号の概念の一つで、シンボル毎の出現確率に基づき異なる長さの符号語長を用いることで、情報源を効率的に符号化することを目的としたもの。具体的な例としてハフマン符号や算術符号などがあり、データ圧縮に広く用いられている。 符号アルファベットの要素数をn、任意のシンボルsの出現確率をp_sとすると、-\log_p_sの長さの符号語を割り当てた時に最短の符号が得られることが知られている。当然、任意の情報源に対してこれらの最適な符号語長は整数にはならない。ハフマン符号では、ハフマン木を用いて各符号語長が整数になるように近似しているため、簡便な手法ではあるが最短の符号は得られない。算術符号は半開区間の分割を繰り返すことで、この問題を克服している。 エントロピー符号を復号するには、情報源アルファベットの各出現確率を事前に通知する必要がある。これに対し、復号が完了したデータから順次出現確率を計算する手法も存在し、適応(Adaptive)あるいは動的(Dynamic)と呼ばれる。これと区別する為に静的(Static)という呼称もある。. モールス符号 符号理論において、符号（ふごう）またはコード（code）とは、シンボルの集合S, Xがあるとき、Sに含まれるシンボルのあらゆる系列から、Xに含まれるシンボルの系列への写像のことである。Sを情報源アルファベット、Xを符号アルファベットという。すなわち符号とは、情報の断片（例えば、文字、語、句、ジェスチャーなど）を別の形態や表現へ（ある記号から別の記号へ）変換する規則であり、変換先は必ずしも同種のものとは限らない。 コミュニケーションや情報処理において符号化（エンコード）とは、情報源の情報を伝達のためのシンボル列に変換する処理である。復号（デコード）はその逆処理であり、符号化されたシンボル列を受信者が理解可能な情報に変換して戻してやることを指す。 符号化が行われるのは、通常の読み書きや会話などの言語によるコミュニケーションが不可能な場面でコミュニケーションを可能にするためである。例えば、手旗信号や腕木通信の符号も個々の文字や数字を表していることが多い。遠隔にいる人がその手旗や腕木を見て、本来の言葉などに戻して解釈することになる。.

ハフマン符号

ハフマン符号（ハフマンふごう、Huffman coding）とは、1952年にデビッド・ハフマンによって開発された符号で、文字列をはじめとするデータの可逆圧縮などに使用される。 ほかのエントロピー符号と同様、よく出現する文字には短いビット列を、あまり出現しない文字には長いビット列を割り当てることで、メッセージ全体の符号化に使われるデータ量を削減することを狙っている。 コンパクト符号やエントロピー符号の一つ。JPEGやZIP (Deflate) などの圧縮フォーマットで使用されている。 シャノン符号化が最適ではない場合が存在する不完全な符号であったのに対し、ハフマン符号は（整数の符号語長という制約のもとでは、）常に最適な符号を構成できる。擬似的に実数の符号語長を割り振る算術符号と比較すれば、データ圧縮効率は劣る。ただし、算術符号やその他の高効率の符号化法と異なり、特許の問題が無い。.

エントロピー符号とハフマン符号 · ハフマン符号と符号 · 続きを見る »

データ圧縮

データ圧縮（データあっしゅく）とは、あるデータをそのデータの実質的な性質（専門用語では「情報量」）を保ったまま、データ量を減らした別のデータに変換すること。高効率符号化ともいう-->。アナログ技術を用いた通信技術においては通信路の帯域幅を削減する効果を得るための圧縮ということで帯域圧縮ともいわれた。デジタル技術では、情報を元の表現よりも少ないビット数で符号化することを意味する。 データ圧縮には大きく分けて可逆圧縮と非可逆圧縮がある。というより正確には非可逆圧縮はデータ圧縮ではない。可逆圧縮は統計的冗長性を特定・除去することでビット数を削減する。可逆圧縮では情報が失われない。非可逆圧縮は不必要な情報を特定・除去することでビット数を削減する。しかしここで「不必要な」とは、例えばMP3オーディオの場合「ヒトの聴覚では通常は識別できない」という意味であり、冒頭の「情報量を保ったまま」という定義を破っている。データファイルのサイズを小さくする処理は一般にデータ圧縮と呼ばれるが、データを記録または転送する前に符号化するという意味では情報源符号化である。 圧縮は、データ転送におけるトラフィックやデータ蓄積に必要な記憶容量の削減といった面で有効である。しかし圧縮されたデータは、利用する前に伸長（解凍）するという追加の処理を必要とする。つまりデータ圧縮は、空間計算量を時間計算量に変換することに他ならない。例えば映像の圧縮においては、それをスムースに再生するために高速に伸長（解凍）する高価なハードウェアが必要となるかもしれないが、圧縮しなければ大容量の記憶装置を必要とするかもしれない。データ圧縮方式の設計には様々な要因のトレードオフがからんでおり、圧縮率をどうするか、（非可逆圧縮の場合）歪みをどの程度許容するか、データの圧縮伸長に必要とされる計算リソースの量などを考慮する。 新たな代替技法として、圧縮センシングの原理を使ったリソース効率のよい技法が登場している。圧縮センシング技法は注意深くサンプリングすることでデータ圧縮の必要性を避けることができる。.

エントロピー符号とデータ圧縮 · データ圧縮と符号 · 続きを見る »

コンパクト符号

ンパクト符号（コンパクトふごう）とは、一意に復号可能な符号のうち、同じ符号アルファベットを用いる他の任意の符号よりも、平均符号長が大きくない符号のこと。ハフマン符号が知られている。.

エントロピー符号とコンパクト符号 · コンパクト符号と符号 · 続きを見る »

情報理論

情報理論（じょうほうりろん、Information theory）は、情報・通信を数学的に論じる学問である。応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。 情報理論の基本的な応用としては、ZIP形式（可逆圧縮）、MP3（非可逆圧縮）、DSL（伝送路符号化）などがある。この分野は、数学、統計学、計算機科学、物理学、神経科学、電子工学などの交差する学際領域でもある。その影響は、ボイジャー計画の深宇宙探査の成功、CDの発明、携帯電話の実現、インターネットの開発、言語学や人間の知覚の研究、ブラックホールの理解など様々な事象に及んでいる。.

エントロピー符号と情報理論 · 情報理論と符号 · 続きを見る »

情報源アルファベット

情報源アルファベット（じょうほうげんアルファベット）は、符号理論において、符号化の対象となる情報源をシンボルの系列と捉えた時出現する、あるいは出現する可能性のあるシンボルの集合のことをいう。例えば一般的な英文を符号化する場合、大文字・小文字の各アルファベットと数字、記号、空白、改行などの集合が情報源アルファベットとなる。情報源アルファベットに含まれるシンボルは、符号アルファベットにより構成される符号語が割り当てられる。 Category:符号理論 Category:数学に関する記事.

エントロピー符号と情報源アルファベット · 情報源アルファベットと符号 · 続きを見る »