UTF-8とUnicode

ショートカット: 違い、類似点、ジャカード類似性係数、参考文献。

UTF-8とUnicodeの違い

UTF-8 vs. Unicode

UTF-8（ユーティーエフはち、ユーティーエフエイト）はISO/IEC 10646 (UCS) とUnicodeで使える8ビット符号単位の文字符号化形式及び文字符号化スキーム。 正式名称は、ISO/IEC 10646では “UCS Transformation Format 8”、Unicodeでは “Unicode Transformation Format-8” という。両者はISO/IEC 10646とUnicodeのコード重複範囲で互換性がある。RFCにも仕様がある。 2バイト目以降に「/」などのASCII文字が現れないように工夫されていることから、UTF-FSS (File System Safe) ともいわれる。旧名称はUTF-2。 UTF-8は、データ交換方式・ファイル形式として一般的に使われる傾向にある。 当初は、ベル研究所においてPlan 9で用いるエンコードとして、ロブ・パイクによる設計指針のもと、ケン・トンプソンによって考案された。. 200px Unicode（ユニコード）は、符号化文字集合や文字符号化方式などを定めた、文字コードの業界規格である。文字集合（文字セット）が単一の大規模文字セットであること（「Uni」という名はそれに由来する）などが特徴である。 1980年代に、Starワークステーションの日本語化 (J-Star) などを行ったゼロックス社が提唱し、マイクロソフト、アップル、IBM、サン・マイクロシステムズ、ヒューレット・パッカード、ジャストシステムなどが参加するユニコードコンソーシアムにより作られた。1993年に、国際標準との一致が図られ、DIS 10646の当初案から大幅に変更されて、Unicodeと概ね相違点のいくつかはDIS 10646に由来する互換のISO/IEC 10646が制定された。.

ASCII

ASCII（アスキー、American Standard Code for Information Interchange）は、現代英語や西ヨーロッパ言語で使われるラテン文字を中心とした文字コード。これはコンピュータその他の通信機器において最もよく使われているものである。.

ASCIIとUTF-8 · ASCIIとUnicode · 続きを見る »

基本多言語面

基本多言語面（きほんたげんごめん、Basic Multilingual Plane, BMP）は、ISO/IEC 10646の第0群第0面およびUnicodeの第0面。最初の65536の符号位置である000016～FFFF16からなる。 最もよく使う、基本的な文字・記号のほとんどが含まれる。 UCS-2は、BMPのみからなる。また、Unicode 3.0までのUnicodeは、BMPのみからなっていた。.

UTF-8と基本多言語面 · Unicodeと基本多言語面 · 続きを見る »

バイト (情報)

バイト (byte) は、「複数ビット」を意味する、データ量あるいは情報量の単位である。 1980年頃から1バイトは8ビット (bit) であることが一般的であったが、 正式に定義されたのは2008年発行のIEC_80000-13である。 8ビットは、256個の異なる値（たとえば整数であれば、符号無しで0から255、符号付きで−128から+127、など）を表すことができる。.

UTF-8とバイト (情報) · Unicodeとバイト (情報) · 続きを見る »

エンディアン

ンディアン（endianness）は、複数のバイトなどを並べる順序の種類である。一般的な用語による表現ではバイトオーダ（byte order）、ないしそれを一部訳して日本語ではバイト順とも言う。 英語の「endian」という単語自体には元々は「配置方式」「並び順」といった意味はなかった（#語源を参照）。日本では総称として「エンディアン」と呼ぶことが多いが、英語でそれに相当する語はendianness（エンディアンネス）である。.

UTF-8とエンディアン · Unicodeとエンディアン · 続きを見る »

エイプリルフール

イプリルフール（April Fools' Day）とは、毎年4月1日には嘘をついても良いという風習のことである岩波書店『広辞苑 第六版』。イギリスではオークアップルデーに倣い、嘘をつける期限を正午までとする風習があるが、それ以外の地域では一日中行われる。 エイプリルフールは、日本語では直訳で「四月馬鹿」、漢語的表現では「万愚節」、中国語では「愚人節」、フランス語では「プワソン・ダヴリル」（Poisson d'avril, 四月の魚）と呼ばれる。.

UTF-8とエイプリルフール · Unicodeとエイプリルフール · 続きを見る »

円記号

¥ は、日本の通貨単位の円や中華人民共和国の人民元などを表す通貨記号である。Unicode文字名称は「」、JIS文字名称は円記号（えんきごう）。金額を表す数字に前置する。 この円記号は、コンピュータでの文字コード変換マッピングに厄介な問題を抱えた記号の1つ（類似の問題を抱える記号には「₩」がある）として知られ、円記号のその問題は「円記号問題」と呼ばれる。.

UTF-8と円記号 · Unicodeと円記号 · 続きを見る »

絵文字

絵文字（えもじ、えもんじ）とは、語（音形）ではなく、ものや事柄を、絵を文字のように用いて象徴的に示唆したもののこと。 日本語で絵文字という場合、以下の複数の意味で用いられる。.

UTF-8と絵文字 · Unicodeと絵文字 · 続きを見る »

EUC-JP

EUC-JP（Extended UNIX Code Packed Format for Japanese、日本語EUC）はUNIX上で日本語の文字を扱う場合にもっとも多く利用されている文字コード（符号化方式）のひとつである。UNIX以外のOS上で使われることもある。 1980年代前半、日本語UNIXシステム諮問委員会がUNIXで日本語を扱うための文字コードについて議論を行い、議論の結果をもとに1985年4月に同委員会から報告書がAT&Tに出され、AT&Tにより定められたのがEUC-JPの起こりである。AT&Tから、EUC（Extended UNIX Codeの略）として日本語に限らず多言語に対応できるように定められ、EUCのうち日本語を扱うものを特にEUC-JPなどと呼ぶ。他に、EUC-KR（韓国語）、EUC-CN（簡体中国語）等がある。 EUCのエンコード方式上にASCIIとJIS X 0208文字集合を配置したもので、半角カナ (JIS X 0201) とJIS補助漢字 (JIS X 0212) も含むことができる。半角カナと補助漢字を使用しない場合は、JIS X 0208で規定されている符号化方式「国際基準版・漢字用8ビット符号」と同一となる。ISO/IEC 2022に適合する。 日本語文字はJIS X 0208をGR領域に表現したものを基本としており、2バイトで表現され、1バイト目、2バイト目ともに0x80 - 0xFFの範囲内にある。このため英数字と日本語文字の区別がしやすく、プログラム上での扱いが楽である。ただし、半角カナはISO-2022-JPやShift_JISと異なり制御文字SS2（シングルシフトツー、0x8E）に続けて現れるので都合2バイト、補助漢字は制御文字SS3（シングルシフトスリー、0x8F）に続けて現れるので都合3バイトを要する。 JIS X 0213:2004に対応するEUCコードはEUC-JIS-2004（2000年初版時はEUC-JISX0213）。 UNIX系OSの標準的な文字エンコードとして広く使用されてきたが、近年ではUTF-8を使用したシステムも普及している。.

EUC-JPとUTF-8 · EUC-JPとUnicode · 続きを見る »

IBM

IBM（アイビーエム、正式社名: International Business Machines Corporation）は、民間法人や公的機関を対象とするコンピュータ関連製品およびサービスを提供する企業である。本社はアメリカ合衆国ニューヨーク州アーモンクに所在する。世界170カ国以上で事業を展開している。.

IBMとUTF-8 · IBMとUnicode · 続きを見る »

ISO/IEC 10646

ISO/IEC 10646 (UCS; Universal Coded Character Set) は、符号化文字集合や文字符号化方式などを定めた、文字コードの国際標準のひとつで、業界規格のUnicodeと概ね互換であることが特徴である。日本の対応規格はJIS X 0221（国際符号化文字集合）。 UCSの文字空間は0 - 10FFFFである。古い規格では21ビットのUnicodeをベースにして文字空間を31ビットに拡張したものとされ、Unicodeの最大値であるU+10FFFFより大きなコードも使用できるという点でUnicodeに対して上位互換であったが、2006年の改訂によりUnicodeで使用できない領域には文字が「永久に定義されない」こととされ下位互換を持つことになった。2011年の改訂では明確に0 - 10FFFFと定義された。 符号化方式は、Unicodeと同じUTF-8やUTF-16が使われることが多い。ただし、Unicodeの『UTF』が『Unicode Transformation Format』を意味するのに対して、ISO/IEC 10646の『UTF』は『UCS Transformation Format』を意味する点が違う。 面 (plane)、区 (row)、点 (cell) として分けられ、Unicodeと同じ第0面の基本多言語面 (BMP; Basic Multilingual Plane) と追加面の第1 - 16面までの範囲で文字が定義されている。古い規格では群 (group) という分類もあったが2011年の改訂で廃止された。.

ISO/IEC 10646とUTF-8 · ISO/IEC 10646とUnicode · 続きを見る »

ISO/IEC 8859

ISO 8859（より正式にはISO/IEC 8859）はコンピュータでの利用を目的とした8ビット文字コードの標準である。ISOとIECが合同で定めた。この標準は複数の部（英: part）に分かれており、それぞれがISO/IEC 8859-1、ISO/IEC 8859-2などのように番号付きで出版されている。それぞれの部自体を、非公式に標準として参照することがある。2009年現在、15の部（破棄されたISO/IEC 8859-12標準を除く）が存在する。.

ISO/IEC 8859とUTF-8 · ISO/IEC 8859とUnicode · 続きを見る »

Java

Java（ジャバ）は、狭義ではプログラミング言語Javaを指す。広義では言語仕様以外にも、仕様が与えられているJavaクラスライブラリやJava仮想マシン、さらにはJDKやJREなどの公式のものをはじめとする、場合によってはサードパーティのものなどを含め曖昧にJavaプラットフォームと総称されるようなものなどのエコシステムなどを指すこともある。構文についてはJavaの文法の記事を参照。.

JavaとUTF-8 · JavaとUnicode · 続きを見る »

JIS X 0201

JIS X 0201は、日本工業規格 (JIS) の制定している文字コード規格で、初版は1969年6月1日の制定であり、現存のJISにおける最も古い文字コードである。規格名称は7ビット及び8ビットの情報交換用符号化文字集合。名称が示す通り、7ビット符号と8ビット符号での運用が予定されている。図形文字の集合を規定するための規格であり、JIS X 0211 (ISO/IEC 6429) で規定される制御文字集合と組み合わせて使用する。現在の規格番号は日本工業規格の部門X（情報処理）の新設に伴って1987年3月1日に変更されたもので、旧規格番号はJIS C 6220。俗称はANKコードで、'ANK'はこのコードの主要構成文字であるアルファベット (Alphabet)、数字 (Numerical digit)、片仮名 (Katakana) の頭文字より来ている。 JIS X 0201はラテン文字用図形文字集合と片仮名用図形文字集合のふたつの文字集合よりなっている。このうちラテン文字用図形文字集合はAmerican Standard Code for Information Interchange (ASCII) と同様ISO/IEC 646の版の1つとなっている。ASCIIと比較すると2文字が異なっており、92番の文字にバックスラッシュ ('') の替わりに円記号 ('¥') が、126番にチルダ ('~') の替わりにオーバーライン ('‾') が割り当てられている。片仮名用図形文字集合は片仮名と日本語用の約物よりなっており、最後の31文字分は未定義となっている。また、単独の濁点と半濁点のみ収録されており濁点付き片仮名と半濁点付き片仮名は収録されていない。 全体的な構造はJIS X 0202 (ISO/IEC 2022) に従った構造となっており、8ビット符号では16進で21から7Eにラテン文字を、A1からFEに片仮名を割り当てる。7ビット符号では21から7Eの領域を、SHIFT-INとSHIFT-OUTでラテン文字と片仮名を切り替えながら使用する。このとき、SO(0E)以降は片仮名、SI(0F)以降はラテン文字となる。 現在では主にShift_JISおよびEUC-JPの一部として用いられており、単独で用いられることはほとんどない。これらの文字コードは JIS X 0208の文字も含んでおり、JIS X 0208にはJIS X 0201にあるほぼすべての文字があるため文字が重複することとなる。この区別のため、JIS X 0201の文字をJIS X 0208の文字の半分の幅で表示することが多い。このため、これらの文字を俗に半角文字、特に片仮名を半角カナとよぶ事が多い。また、Shift_JISのアルファベット部分はASCIIとJIS X 0201との区別が曖昧なまま使われることが多いため、円記号とバックスラッシュの区別においてしばしば混乱が起きる。.

JIS X 0201とUTF-8 · JIS X 0201とUnicode · 続きを見る »

JIS X 0208

JIS X 0208（ジス X 0208）は、日本語表記、地名、人名などで用いられる6,879図形文字を含む、主として情報交換用の2バイト符号化文字集合を規定する日本工業規格である。現行の規格名称は7ビット及び8ビットの2バイト情報交換用符号化漢字集合 (7-bit and 8-bit double byte coded KANJI sets for information interchange) である。1978年にJIS C 6226として制定され、1983年、1990年および1997年に改正された。JIS漢字コード、JIS漢字、JIS第1第2水準漢字、JIS基本漢字などの通称がある。.

JIS X 0208とUTF-8 · JIS X 0208とUnicode · 続きを見る »

JIS X 0212

JIS X 0212（ジス X 0212）は、JIS X 0208:1983に含まれない文字を集めた、6067字の符号化文字集合を規定する日本工業規格 (JIS) である。規格名称は「情報交換用漢字符号－補助漢字」である。1990年10月1日に制定され、JIS X 0208と組み合わせて利用される。JIS補助漢字の通称がある。.

JIS X 0212とUTF-8 · JIS X 0212とUnicode · 続きを見る »

JIS X 0213

JIS X 0213（ジス X 0213）はJIS X 0208:1997を拡張した、日本語用の符号化文字集合を規定する日本工業規格 (JIS) である。規格名称は「7ビット及び8ビットの2バイト情報交換用符号化拡張漢字集合」である。 2000年に制定、2004年、2012年に改正された。2000年に制定されたJIS X 0213:2000は通称「JIS2000」と呼ばれている。2004年に改正されたJIS X 0213:2004は通称「JIS2004」と呼ばれている。 JIS X 0208を拡張した規格で、JIS X 0208が規定する6879字の図形文字の集合に対して、日本語の文字コードで運用する必要性の高い4354字が追加され、計1万1233字の図形文字を規定する。JIS X 0208を拡張する点においてJIS X 0212:1990と同目的であるが、JIS X 0212とJIS X 0213との間に互換性はない。JIS X 0212がJIS X 0208にない文字を集めた文字集合であるのに対し、JIS X 0213はJIS X 0208を包含し更に第三・第四水準漢字などを加えた上位集合である。.

JIS X 0213とUTF-8 · JIS X 0213とUnicode · 続きを見る »

Microsoft Windows

Microsoft Windows（マイクロソフト ウィンドウズ）は、マイクロソフトが開発・販売するオペレーティングシステム (OS) の製品群。グラフィカルユーザインタフェース (GUI)を採用している。.

Microsoft WindowsとUTF-8 · Microsoft WindowsとUnicode · 続きを見る »

Plan 9 from Bell Labs

（通称 ）は、主に研究用に使われている分散オペレーティングシステム。ベル研究所の で1980年代中ごろから2002年まで、UNIXの研究上の後継として開発された。Plan 9 は、ネットワークやユーザインタフェースまで含めたあらゆるシステムインタフェースを、個別のインタフェースではなくファイルシステムを通して統一的に表現することを特徴とする。Plan 9 は9Pプロトコルを使い、ユーザーにワークステーション毎に独立した作業環境を提供することを目指している。現在もベル研究所とPlan 9コミュニティによって活発に開発がつづいている。 Plan 9 は、UNIXの流れを汲むオペレーティングシステム (OS) の一種であり、開発に当たってUNIXの設計の問題点を改善することを念頭に置かれている。.

Plan 9 from Bell LabsとUTF-8 · Plan 9 from Bell LabsとUnicode · 続きを見る »

Shift JIS

Shift_JIS（シフトジス）は、コンピュータ上で日本語を含む文字列を表現するために用いられる文字コードの一つ。かつてはベンダーによる独自拡張を含む文字コード群を指した曖昧な名称であったが、現在は標準化文書JIS X 0213の附属書1で規定されている(Shift JIS-2004)。「Shift_JIS」はIANAにおける登録名である 。 マイクロソフトなどの各ベンダーが実装するShift_JISの亜種については「Microsoftコードページ932」を参照。Mac OSが実装する亜種については「MacJapanese」を参照。.

Shift JISとUTF-8 · Shift JISとUnicode · 続きを見る »

UTF-16

UTF-16 (UCS/Unicode Transformation Format 16) とは、UnicodeおよびISO/IEC 10646の、符号化形式および符号化スキーム（文字符号化方式を参照）のひとつである。UTFは、UnicodeではUnicode Transformation Formatの略、ISO/IEC 10646ではUCS Transformation Formatの略とされる。ISO/IEC 10646での正式名称はUCS Transformation Format for 16 Planes of Group 00である。Unicodeでは、UTF-16が正式名称である。 UTF-16では、1文字が、16ビットの符号単位が1つまたは2つで符号化される。これが「-16」の名の由来である。基本多言語面（BMP）内の文字は、符号単位1つの16ビットで表される（ビッグエンディアンならISO/IEC 10646のUCS-2と互換である）。BMP以外の文字は、符号単位2つの32ビットで表される。なお、UTF-16は2バイトコードだと誤解されることがあるが、このように4バイトのこともあるため間違いである。 Unicodeにおいては、厳密には、文字符号化形式（Character Encoding Form）の1つの名称であり、かつ、UTF-16符号化形式のための文字符号化スキーム（Character Encoding Scheme）の1つの名称でもある。UTF-16符号化形式のための文字符号化スキームには、UTF-16の他にUTF-16BE、UTF-16LEがある。.

UTF-16とUTF-8 · UTF-16とUnicode · 続きを見る »

UTF-32

UTF-32（およびUCS-4、#歴史を参照）は、Unicodeの各符号位置に32ビット符号単位一つだけを使う、固定長のUnicodeの符号化形式及び符号化スキーム（文字符号化方式#文字符号化形式と文字符号化スキーム）である。他のUTF（Unicode transformation format）はすべて符号位置によって符号単位列の長さが変化する可変長であるため、UTF-32はもっとも単純なUTFであるとみなせる。 UTF-32は、テキストファイルで使用されることは少なく、主にシステムのメモリ上での管理や、符号位置の数で管理するデータベースなどで使用される。.

UTF-32とUTF-8 · UTF-32とUnicode · 続きを見る »

文字コード

文字コード（もじコード）とはコンピュータ上で文字（キャラクタ (コンピュータ)）を利用する目的で各文字に割り当てられるバイト表現。もしくは、バイト表現と文字の対応関係（文字コード体系）のことを指して「文字コード」と呼ぶことも多い。本記事では主に後者について記述する。.

UTF-8と文字コード · Unicodeと文字コード · 続きを見る »

文字符号化方式

文字符号化方式（もじふごうかほうしき、character encoding scheme、CES）とは、符号化文字集合で文字に対応付けた非負整数値を、実際にコンピュータが利用できるデータ列（通常、バイト列）に変換する符号化方式。 文字符号化体系、文字符号化スキーム (character coding scheme) とも言う。文字について述べていることが明確なときは、単に符号化方式、またIBMの用語ではコード化体系 (encoding scheme) などとも言う。 この用語はUnicodeやIETFの標準などで用いているが、ISO/IECやJISの標準では用いず「符号化文字集合の構造」あるいは「'''文字符号の構造及び拡張法'''」として扱われている。この用語の定義は、世界の文字コード規格とは必ずしも合致しないことがある。.

UTF-8と文字符号化方式 · Unicodeと文字符号化方式 · 続きを見る »