名前¶

utf8 - ソースコード内の UTF-8(または UTF-EBCDIC) を有効/無効にするためのプラグマ

概要¶

    use utf8;
    no utf8;

    # Convert the internal representation of a Perl scalar to/from UTF-8.

    $num_octets = utf8::upgrade($string);
    $success    = utf8::downgrade($string[, FAIL_OK]);

    # Change each character of a Perl scalar to/from a series of
    # characters that represent the UTF-8 bytes of each original character.

    utf8::encode($string);  # "\x{100}"  becomes "\xc4\x80"
    utf8::decode($string);  # "\xc4\x80" becomes "\x{100}"

    $flag = utf8::is_utf8(STRING); # since Perl 5.8.1
    $flag = utf8::valid(STRING);

説明¶

use utf8 プラグマは、Perl パーサーに、現在のレキシカルスコープ内の プログラムのテキストに UTF-8(EBCDIC ベースのプラットフォームなら、UTF-EBCDIC) を許すように伝えます。 no utf8 プラグマは Perl に、現在のレキシカルスコープのソーステキストを リテラルなバイトとして扱うように伝えます。

スクリプトが UTF-8 で書かれているということを Perl に教える目的以外で このプラグマをつかってはいけません。 下に書かれているユーティリティ関数は、use utf8; なしで直接使えます。

ネイティブな 8 ビットエンコーディングから UTF-8 であると確実に 知らせることは不可能なので、perl に知らせるためにソースコードの先頭に バイト順マークを置くか、use utf8; を指定するかのどちらかが必要です。

UTF-8 が標準ソースフォーマットとなったときには、 このプラグマは事実上何もしなくなります。 利便性のために、以下での UTF-X という単語は、 ASCII と ISO Latin ベースのプラットフォームでは UTF-8 を示し、 EBCDIC ベースのプラットフォームでは UTF-EBCDIC を示すものとします。

perlrun にある、-C スイッチ及びそのいとこの $ENV{PERL_UNICODE} の 効果も参照してください。

utf8 プラグマを有効にすると次の効果があります:

• Bytes in the source text that have their high-bit set will be treated as being part of a literal UTF-X sequence. This includes most literals such as identifier names, string constants, and constant regular expression patterns.

  高ビットがセットされている、ソーステキストにあるバイトは、 リテラルの UTF-X シーケンスの部分として扱われます。 このことは、ほとんどのリテラル、識別子の名前、 文字列定数、正規表現パターン定数も含みます。

  On EBCDIC platforms characters in the Latin 1 character set are treated as being part of a literal UTF-EBCDIC character.

  EBCDIC プラットフォームでは、Latin 1 文字集合の文字は、 リテラルの UTF-EBCDIC の文字として扱われます。

スクリプト内に 8 ビットのバイト列がある(たとえば、文字列リテラルに Latin-1 がある)なら、use utf8 は不幸をもたらすでしょう; バイト列は、ほとんどの場合、適切な UTF-X ではないからです。 use utf8 内でそのようなバイト列を使いたい場合は、ブロック(または、 最上部に書けば、ファイル)の終わりまで、no utf8; で、utf8 を 無効にできます。

ユーティリティ関数¶

下記の関数は、Perl core によって、utf8:: パッケージに定義されています。 これらの関数を使うのに、use utf8 する必要はありませんし、 実際、本当に UTF-8 のソースコードを書こうとするのでないなら、 use utf8 すべきではありません。

• $num_octets = utf8::upgrade($string)

  Converts in-place the internal representation of the string from an octet sequence in the native encoding (Latin-1 or EBCDIC) to UTF-X. The logical character sequence itself is unchanged. If $string is already stored as UTF-X, then this is a no-op. Returns the number of octets necessary to represent the string as UTF-X. Can be used to make sure that the UTF-8 flag is on, so that \w or lc() work as Unicode on strings containing characters in the range 0x80-0xFF (on ASCII and derivatives).

  文字列の内部表現を、ネイティブエンコーディング (Latin-1 や EBCDIC) の オクテットシーケンスから UTF-X にその場で変換します。 論理的な文字並び自身は変更されません。 $string が既に UTF-X として保管されている場合は何もしません。 UTF-X として、文字列を表現するのに必要なオクテットの数を返します。 UTF-8 フラグがオンであることを確認するのに使えます; ですので、\w や lc() は、(ASCII とその派生では) 0x80-0xFF の 文字を含む文字列で期待されるように動きます。

  Note that this function does not handle arbitrary encodings. Therefore Encode is recommended for the general purposes; see also Encode.

  この関数は、任意のエンコーディングを扱えるわけではないことに 注意してください。 従って、一般的な用途では Encode を推奨します; Encode も 参照してください。

• $success = utf8::downgrade($string[, FAIL_OK])

  Converts in-place the the internal representation of the string from UTF-X to the equivalent octet sequence in the native encoding (Latin-1 or EBCDIC). The logical character sequence itself is unchanged. If $string is already stored as native 8 bit, then this is a no-op. Can be used to make sure that the UTF-8 flag is off, e.g. when you want to make sure that the substr() or length() function works with the usually faster byte algorithm.

  文字列の内部表現を、UTF-X から等価なネイティブエンコーディング (Latin-1 や EBCDIC) の内部オクテットシーケンスにその場で変換します。 論理的な文字並び自身は変更されません。 $string が既にネイティブな 8 ビットとして保管されている場合は 何もしません。 たとえば、substr() や length() 関数が、 通常はより速いバイトアルゴリズムで動くようにしたい場合、 UTF-8フラグがオフであるのを確認するのに使えます。

  Fails if the original UTF-X sequence cannot be represented in the native 8 bit encoding. On failure dies or, if the value of FAIL_OK is true, returns false.

  元の UTF-X シーケンスがネイティブな 8 ビットエンコーディングで 表現できない場合は失敗します。 失敗したときには、FAIL_OK の値が真の場合は偽を返し、そうでない場合は die します。

  Returns true on success.

  成功すると真を返します。

  Note that this function does not handle arbitrary encodings. Therefore Encode is recommended for the general purposes; see also Encode.

  この関数は、任意のエンコーディングを扱えるわけではないことに 注意してください。 従って、一般的な用途では Encode を推奨します; Encode も 参照してください。

• utf8::encode($string)

  Converts in-place the character sequence to the corresponding octet sequence in UTF-X. That is, every (possibly wide) character gets replaced with a sequence of one or more characters that represent the individual UTF-X bytes of the character. The UTF8 flag is turned off. Returns nothing.

  文字シーケンスを、対応する UTF-X のオクテットシーケンスに その場で変換します。 つまり、それぞれの(ワイドかもしれない)文字は、個々の UTF-X バイトの 文字を表現する一つ以上の文字の並びに置き換えられます。 UTF8 フラグはオフになります。 何も返しません。

      my $a = "\x{100}"; # $a contains one character, with ord 0x100
      utf8::encode($a);  # $a contains two characters, with ords 0xc4 and 0x80

  Note that this function does not handle arbitrary encodings. Therefore Encode is recommended for the general purposes; see also Encode.

  この関数は、任意のエンコーディングを扱えるわけではないことに 注意してください。 従って、一般的な用途では Encode を推奨します; Encode も 参照してください。

• $success = utf8::decode($string)

  Attempts to convert in-place the octet sequence in UTF-X to the corresponding character sequence. That is, it replaces each sequence of characters in the string whose ords represent a valid UTF-X byte sequence, with the corresponding single character. The UTF-8 flag is turned on only if the source string contains multiple-byte UTF-X characters. If $string is invalid as UTF-X, returns false; otherwise returns true.

  UTF-X のオクテットシーケンスを、対応する文字シーケンスに 適切に変換しようとします。 UTF-8 フラグは、元の文字列が複数バイトの UTF-X 文字を含んでいる場合にのみ オンになります。 もし $string が UTF-X として不正なら、偽を返します; さもなければ真を返します。

      my $a = "\xc4\x80"; # $a contains two characters, with ords 0xc4 and 0x80
      utf8::decode($a);   # $a contains one character, with ord 0x100

  Note that this function does not handle arbitrary encodings. Therefore Encode is recommended for the general purposes; see also Encode.

  この関数は、任意のエンコーディングを扱えるわけではないことに 注意してください。 従って、一般的な用途では Encode を推奨します; Encode も 参照してください。

• $flag = utf8::is_utf8(STRING)

  (Since Perl 5.8.1) Test whether STRING is in UTF-8 internally. Functionally the same as Encode::is_utf8().

  (Perl 5.8.1 から) STRING が、内部的に UTF-8 かどうかをテストします。 機能的には、Encode::is_utf8() と同じです。

• $flag = utf8::valid(STRING)

  [INTERNAL] Test whether STRING is in a consistent state regarding UTF-8. Will return true is well-formed UTF-8 and has the UTF-8 flag on or if string is held as bytes (both these states are 'consistent'). Main reason for this routine is to allow Perl's testsuite to check that operations have left strings in a consistent state. You most probably want to use utf8::is_utf8() instead.

  [内部関数] STRING が UTF-8 として一貫しているかを調べます。 STRING が well-formed UTF-8 で UTF-8 フラグがオンの場合 または 文字列がバイトとして保持されている場合に真を返します (両方とも状態は「一貫して」います)。 このルーチンの主目的は、 ある操作が文字列を一貫した状態に保っているかを Perl のテストスイートが 調べられるようにすることです。 おそらくたいていの場合は代わりに utf8::is_utf8() を使いたいはずです。

utf8::encode は、utf8::upgrade に似ていますが、UTF8 フラグが 削除されます。 UTF8 フラグの詳細および、Perl 関数の utf8::upgrade, utf8::downgrade, utf8::encode, utf8::decode でラッピングされている C API 関数 sv_utf8_upgrade, sv_utf8_downgrade, sv_utf8_encode, sv_utf8_decode については perlunicode を 参照してください。 また、utf8::is_utf8, utf8::valid, utf8::encode, utf8::decode, utf8::upgrade, utf8::downgrade は、 実際には内部関数なので、常に require utf8 なしで利用可能になっています。

バグ¶

識別子の名前として Unicode を使えますが、パッケージ/クラスや サブルーチンの名前としては使えません。 Perl 5.8.0 からはこれに関する限定された機能が存在しますが、 これらは予定されたものというよりは偶然の産物です; このような目的で Unicode を使うことは非サポートです。

この不完全性の原因の一つは(現在のところ)先天的な非移植性です; パッケージ名とサブルーチン名はそれぞれファイルとディレクトリ名に 対応付けられる必要があるので、ファイルシステムの Unicode 対応が 重要となります -- そして残念ながら移植性のある答えが存在しません。

SEE ALSO¶

perlunitut, perluniintro, perlrun, bytes, perlunicode