HTML-TokeParser-Simple-2.1 > HTML::TokeParser::Simple


HTML::TokeParser::Simple - HTML::TokeParser のインターフェースを簡単に使う


 use HTML::TokeParser::Simple;
 my $p = HTML::TokeParser::Simple->new( $somefile );

 while ( my $token = $p->get_token ) {
     # This prints all text in an HTML doc (i.e., it strips the HTML)
     next unless $token->is_text;
     print $token->as_is;


HTML::TokeParser is a fairly common method of parsing HTML. However, the tokens returned are not exactly intuitive to parse:

HTML::TokeParserは、HTMLを解析するのに、適切な、一般的なメソッドです。 ですが、返って来るトークンは、あまり直観的には解析できません:

 ["S",  $tag, $attr, $attrseq, $text]
 ["E",  $tag, $text]
 ["T",  $text, $is_data]
 ["C",  $text]
 ["D",  $text]
 ["PI", $token0, $text]

To simplify this, HTML::TokeParser::Simple allows the user ask more intuitive (read: more self-documenting) questions about the tokens returned. Specifically, there are 7 is_foo type methods and 5 return_bar type methods. The is_ methods allow you to determine the token type and the return_ methods get the data that you need.

これを簡単にするために、HTML::TokeParser::Simpleでは、 返って来るトークンについて、ユーザがより直観的な(より自己ドキュメントな)質問を尋ねることができるようにします。 具体的には、7つのis_fooタイプのメソッドと 5つのreturn_barタイプのメソッドがあります。 is_メソッドはトークンのタイプを判断できるようにして、return_メソッドは、必要とするデータを得られるようにします。

You can also rebuild some tags on the fly. Frequently, the attributes associated with start tags need to be altered, added to, or deleted. This functionality is built in.

オンザフライにいくつかのタグを再構築することもできます。 よくあるのは、開始タグに関連した属性が変えられるか、加えられるか、 削除されるといったことをしなければなりません。この機能性は組み込まれています。

Since this is a subclass of HTML::TokeParser, all HTML::TokeParser methods are available. To truly appreciate the power of this module, please read the documentation for HTML::TokeParser and HTML::Parser.

HTML::TokeParser::Simpleは、HTML::TokeParserのサブクラスであり、 すべてのHTML::TokeParserメソッドが利用できます。 このモジュールの真価をわかるには、HTML::TokeParserと、HTML::Parserの ドキュメントを読んでください。

The following will be brief descriptions of the available methods followed by examples.


is_ メソッド

  • is_start_tag([$tag])

    Use this to determine if you have a start tag. An optional "tag type" may be passed. This will allow you to match if it's a particular start tag. The supplied tag is case-insensitive.

    開始タグがあるかどうかを判断するのに使ってください。 オプションとして、"タグタイプ"を渡すこともできます。 特定の開始タグかどうかにマッチさせることができます。 渡されるタグは大文字と小文字を区別しません。

     if ( $token->is_start_tag( 'font' ) ) { ... }

    Optionally, you may pass a regular expression as an argument. To match all header (h1, h2, ... h6) tags:

    オプションとして、正規表現を引数に渡せます。 全てのヘッダタグ(h1, h2 ... h6)にマッチさせるためには、以下のようにします:

     if ( $token->is_start_tag( qr/^h[123456]$/ ) ) { ... }
  • is_end_tag([$tag])

    Use this to determine if you have an end tag. An optional "tag type" may be passed. This will allow you to match if it's a particular end tag. The supplied tag is case-insensitive.

    終了タグがあるかどうかを判断するのに使います。 オプションとして、"タグタイプ"を渡すことが出来ます。 特定の終了タグかどうかにマッチさせることができます。 渡されるタグは大文字と小文字を区別しません。

    When testing for an end tag, the forward slash on the tag is optional.


     while ( $token = $p->get_token ) {
       if ( $token->is_end_tag( 'form' ) ) { ... }


     while ( $token = $p->get_token ) {
       if ( $token->is_end_tag( '/form' ) ) { ... }

    Optionally, you may pass a regular expression as an argument.


  • is_tag([$tag])

    Use this to determine if you have any tag. An optional "tag type" may be passed. This will allow you to match if it's a particular tag. The supplied tag is case-insensitive.

    どんなタグを持っているか判断するのに使います。 オプションとして、"タグタイプ"を渡せます。 特定のタグかどうかにマッチさせることができます。 渡されるタグは大文字と小文字を区別しません。

     if ( $token->is_tag ) { ... }

    Optionally, you may pass a regular expression as an argument.


  • is_text()

    Use this to determine if you have text. Note that this is not to be confused with the return_text (deprecated) method described below! is_text will identify text that the user typically sees display in the Web browser.

    テキストを持っているかどうかを判断するのに使います。 下で説明するreturn_text(軽視されている)メソッドと混乱させるためにあるのではありませんis_textは、ユーザが典型的に見ているWebブラウザで表示されるテキストと一致するでしょう。

  • is_comment()

    Are you still reading this? Nobody reads POD. Don't you know you're supposed to go to CLPM, ask a question that's answered in the POD and get flamed? It's a rite of passage.

    まだこれを読んでいます? 誰もPODを読みません。 CLPMにに行くとすると、PODの中で答えられる質問を尋ねて、 フレイムになるのを知らない? それは通過儀礼です。



    is_comment is used to identify comments. See the HTML::Parser documentation for more information about comments. There's more than you might think.

    is_commentは、コメントに一致させるのに使います。 コメントについて、より詳しい情報は、HTML::Parser のドキュメントを見てください。 あなたが思っている以上のことがあります。

  • is_declaration()

    This will match the DTD at the top of your HTML. (You do use DTD's, don't you?)


  • is_process_instruction()

    Process Instructions are from XML. This is very handy if you need to parse out PHP and similar things with a parser.

    プロセスインストラクションはXML出身です。 PHPと類似のものをパーサで解析しなければならないなら、とても手軽です。

The return_ メソッド


In case it's not blindingly obvious (I've been bitten by this myself when writing the tests), you should generally test what type of token you have before you call some return_ methods. For example, if you have an end tag, there is no point in calling the return_attrseq method. Calling an innapropriate method will return an empty string.

万一に備えて、めがくらむようにはっきりとしていません(自分自身、テストを書くときに、これを理解しています)。 return_メソッドを呼ぶ前に、何のタイプのトークンを持っているかをテストすべきです。 たとえば、終了タグがあれば、retrun_attrseqメソッドの呼び出しに何の意義もありません。 不適当なメソッドの呼び出しのために、空の文字列が返されるでしょう。

As noted for the is_ methods, these methods are case-insensitive after the return_ part.


  • return_tag()

    Do you have a start tag or end tag? This will return the type (lower case).

    開始タグか終了タグがありますか? そのタイプを返します(小文字)。

  • return_attr()

    If you have a start tag, this will return a hash ref with the attribute names as keys and the values as the values.


  • return_attrseq()

    For a start tag, this is an array reference with the sequence of the attributes, if any.


  • return_text()

    This method has been deprecated in favor of as_is. Programmers were getting confused over the difference between is_text, return_text, and some parser methods such as HTML::TokeParser::get_text and friends. This confusion stems from the fact that your author is a blithering idiot when it comes to choosing methods names :)

    このメソッドは、as_isのために、非難されています。プログラマは、 is_textと、return_textと、HTML::TokeParser::get_textとその仲間を混乱しています。 この混乱は、メソッドの名前を選ぶことに関して、著者がひどくまぬけであるという事実に起因します :)

    Using this method still succeeds, but will now carp.


  • as_is()

    This is the exact text of whatever the token is representing.


  • return_token0()

    For processing instructions, this will return the token found immediately after the opening tag. Example: For <?php, "php" will be the start of the returned string.

    プロセッシングインストラクションで、開きタグのすぐ後に見つけられるトークンを返します。 例えば: <?php なら、 "php" が返される文字列の始まりになります。


The delete_attr() and set_attr() methods allow the programmer to rewrite tag attributes on the fly. It should be noted that bad HTML will be "corrected" by this. Specifically, the new tag will have all attributes lower-cased with the values properly quoted.

delete_attr()set_attr()メソッドで、プログラマはタグ属性をオンザフライに 書き直すことができます。悪いHTMLがこれによって"訂正される"ことに気が付くべきです。 特に、新しいタグは全ての属性が小文字になり、その値は適切にクォートされます。

Self-closing tags (e.g. <hr />) are also handled correctly. Some older browsers require a space prior to the final slash in a self-closed tag. If such a space is detected in the original HTML, it will be preserved.

自動で閉じるタグ(例えば、<hr />)も、正確にあつかわれます。 より古いブラウザには、自動で閉じられるタグには、最後のスラッシュより前に空白を必要とするものがあります。 そのようなスペースが、元のHTMLで見付かると、それはそのままになります。

  • delete_attr($name)

    This method attempts to delete the attribute specified. It will croak if called on anything other than a start tag. The argument is case-insensitive, but must otherwise be an exact match of the attribute you are attempting to delete. If the attribute is not found, the method will return without changing the tag.

    このメソッドは特定の属性を消そうとします。このメソッドが開始タグ以外の何かで呼ばれると、 croakします。引数は大文字と小文字を区別しません。 ですが、別な方法で、消そうとしている属性に正確にマッチさせる必要があります。 もし、属性が見付からなければ、メソッドはタグを変更せずに返します。

     # <body bgcolor="#FFFFFF">
     print $token->as_is;
     # <body>

    After this method is called, if successful, the as_is(), return_attr() and return_attrseq() methods will all return updated results.


  • set_attr($name,$value)

    This method will set the value of an attribute. If the attribute is not found, then return_attrseq() will have the new attribute listed at the end. Two arguments

    このメソッドは、属性の値をセットします。属性が見付からなければ、 return_attrseq()に、最後にリストされる新しい属性があります。 2つの引数です。

     # <p>
     print $token->as_is;
     # <p class="some_class">
     # <body bgcolor="#FFFFFF">
     print $token->as_is;
     # <body bgcolor="red">

    After this method is called, if successful, the as_is(), return_attr() and return_attrseq() methods will all return updated results.

    このメソッドが呼ばれた後は、as_is()return_attr()return_attrseqメソッドは、 全て、更新された結果を返します。

  • rewrite_tag()

    This method rewrites the tag. The tag name and the name of all attributes will be lower-cased. Values that are not quoted with double quotes will be. This may be called on both start or end tags. Note that both set_attr() and delete_attr() call this method prior to returning.

    このメソッドは、タグを書き直します。タグの名前と全ての属性の名前は、小文字になります。 ダブルクォートでクォートされていない値は、クォートされます。開始タグと終了タグの両方で呼ばれます。 set_attr()delete_attr()の両方がこのメソッドを値を返す前に呼ぶことに気を付けてください。

    If called on a token that is not a tag, it simply returns. Regardless of how it is called, it returns the token.

    タグでないトークンで呼ばれると、単純に返ります。どのようにメソッドが呼ばれたかを無視し、 トークンを返します。

     # <body alink=#0000ff BGCOLOR=#ffffff class='none'>
     print $token->as_is;
     # <body alink="#0000ff" bgcolor="#ffffff" class="none">

    A quick cleanup of sloppy HTML is now the following:


     my $parser = HTML::TokeParser::Simple->new( $ugly_html );
     while (my $token = $parser->get_token) {
         print $token->as_is;


Some people get confused and try to call parser methods on tokens and token methods (those described above) on methods. To prevent this, HTML::TokeParser::Simple versions 1.4 and above now bless all tokens into a new class which inherits nothing. Please keep this in mind while using this module (and many thanks to PodMaster for pointing out this issue to me.

人々には混乱する人がいて、パーサーメソッドをトークンで呼ぼうとし、トークンメソッド(上で説明しました)を、 メソッドで呼ぼうとします。 これを防ぐために、HTML::TokeParser::Simpleのバージョン 1.4以上では、現在、 何も継承しない新しいクラスに全てのトークンを bless しています。 このモジュールを使う間、心にとめておいてください(そして、この問題を私に指摘した PodMasterにとても感謝します。


For some strange reason, your Pointy-Haired Boss (PHB) is convinced that the graphics department is making fun of him by embedding rude things about him in HTML comments. You need to get all HTML comments from the HTML.

ある変わった理由のために、とんがった髪型のボス(PHB)は、 グラフィック部が、HTMLのコメントに彼に対して失礼なことを埋め込んで、 彼をからかっていると確信しています。HTMLから全てのコメントを得る必要があります。

 use strict;
 use HTML::TokeParser::Simple;

 my @html_docs = glob( "*.html" );

 open PHB, "> phbreport.txt" or die "Cannot open phbreport for writing: $!";

 foreach my $doc ( @html_docs ) {
     print "Processing $doc\n";
     my $p = HTML::TokeParser::Simple->new( $doc );
     while ( my $token = $p->get_token ) {
         next unless $token->is_comment;
         print PHB $token->as_is, "\n";

 close PHB;


Uh oh. Turns out that your PHB was right for a change. Many of the comments in the HTML weren't very polite. Since your entire graphics department was just fired, it falls on you need to strip those comments from the HTML.

うーあー。PHBには変更する権利があります。HTMLのコメントのほとんどが、 あまり行儀良くありませんでした。グラフィック部の全てが、すぐにクビになりました。 おかげで、HTMLからそれらのコメントをはぎ取らなければならなくなりました。

 use strict;
 use HTML::TokeParser::Simple;

 my $new_folder = 'no_comment/';
 my @html_docs  = glob( "*.html" );

 foreach my $doc ( @html_docs ) {
     print "Processing $doc\n";
     my $new_file = "$new_folder$doc";

     open PHB, "> $new_file" or die "Cannot open $new_file for writing: $!";

     my $p = HTML::TokeParser::Simple->new( $doc );
     while ( my $token = $p->get_token ) {
         next if $token->is_comment;
         print PHB $token->as_is;
     close PHB;


Your company was and now is Unfortunately, whoever wrote your HTML decided to hardcode "" into the action attribute of the form tags. You need to change it to "".

会社は でしたが、たった今 になります。不幸なことに、 誰もが、フォームタグのaction属性に""をハードコードすると決めてHTMLを書いていました。 "" にそれを変えなければなりません。

 use strict;
 use HTML::TokeParser::Simple;

 my $new_folder = 'new_html/';
 my @html_docs  = glob( "*.html" );

 foreach my $doc ( @html_docs ) {
     print "Processing $doc\n";
     my $new_file = "$new_folder$doc";

     open FILE, "> $new_file" or die "Cannot open $new_file for writing: $!";

     my $p = HTML::TokeParser::Simple->new( $doc );
     while ( my $token = $p->get_token ) {
         if ( $token->is_start_tag('form') ) {
             my $action = $token->return_attr->{action};
             $action =~ s/www\.foo\.com/;
             $token->set_attr('action', $action);
         print FILE $token->as_is;
     close FILE;


Copyright (c) 2001 Curtis "Ovid" Poe. All rights reserved. This program is free software; you may redistribute it and/or modify it under the same terms as Perl itself


Curtis "Ovid" Poe


Use of $HTML::Parser::VERSION which is less than 3.25 may result in incorrect behavior as older versions do not always handle XHTML correctly. It is the programmer's responsibility to verify that the behavior of this code matches the programmer's needs.

$HTML::Parser::VERSIONが3.25より古いものを使うと、結果として、不正確な動きをします。 古いバージョンでは、XHTMLを常には正しく取り扱わないからです。 このコードの動きががプログラマの必要に合っていることを確かめるのは、プログラマの責任です。

Note that HTML::Parser processes text in 512 byte chunks. This sometimes will cause strange behavior and cause text to be broken into more than one token. You can suppress this behavior with the following command:

HTML::Parserは、512バイトの固まりでテキストを処理することに、気を付けてください。 このことが原因で、おかしな動きを引き起こしたり、テキストが壊れて、2つ以上のトークンになったりします。 この動きを下のコマンドで、抑えることができます:

 $p->unbroken_text( [$bool] );

See the HTML::Parser documentation and for more information.

HTM::Parserドキュメントと に より情報があるので、見てください。

Address bug reports and comments to: When sending bug reports, please provide the version of HTML::Parser, HTML::TokeParser, HTML::TokeParser::Simple, the version of Perl, and the version of the operating system you are using.

バグレポートとコメントは次のアドレスに:。 バグレポートを送るときには、HTML::Parserと、HTML::TokeParserと、HTML::TokeParser::Simpleと、 Perlのバージョンと、使っているOSのバージョンを提供してください。


翻訳者:加藤敦 (

Perlドキュメント日本語訳 Project にて、 Perlモジュール、ドキュメントの翻訳を行っております。