名前¶

lwptut -- LWP のチュートリアル

説明¶

LWP ("Library for WWW in Perl" の短縮形) は、Web 上のデータに アクセスするための非常に有名な Perl モジュール群です。 ほとんどの Perl モジュール配布と同様、LWP のコンポーネントモジュールの それぞれには完全なインターフェースのリファレンス文書が同梱されています。 しかし、LWP にはたくさんのモジュールがあるので、最も単純で最も一般的な ことをするための情報ですら、どこから探せばよいのかがわかりにくいです。

LWP の使い方を説明するには本 1 冊が必要です -- たまたま Perl & LWP という 本があります。 しかし、この記事は LWP でいくつかの一般的な作業をする方法のさわりを 説明します。

LWP::Simple を使って文書を取得する¶

単に特定の URL の内容を取得したいなら、最も簡単な方法は LWP::Simple の関数を使うことです。

Perl プログラム中で、このモジュールの get($url) 関数を呼び出します。 これは指定された URL の内容を取得しようとします。 うまく行けば、内容を返します; しかし、もし何かエラーが起これば、 未定義値を返します。

  my $url = 'http://www.npr.org/programs/fa/?todayDate=current';
    # Just an example: the URL for the most recent /Fresh Air/ show

  use LWP::Simple;
  my $content = get $url;
  die "Couldn't get $url" unless defined $content;

  # Then go do things with $content, like this:

  if($content =~ m/jazz/i) {
    print "They're talking about jazz today on Fresh Air!\n";
  }
  else {
    print "Fresh Air is apparently jazzless today.\n";
  }

最も便利な get のバリエーションは getprint で、Perl 1 行野郎で 有用です。 指定した URL からページを取得できれば、内容を STDOUT に出力します; さもなければ STDERR にエラーを出力します。

  % perl -MLWP::Simple -e "getprint 'http://www.cpan.org/RECENT'"

これは CPAN 内の過去 2 週間の新規ファイルの一覧のプレーンテキストファイルの URL です。 これによってちょっとしたシェルコマンドの一部として使えます; 例えば 新しい Acme:: モジュールの一覧をメールするには:

  % perl -MLWP::Simple -e "getprint 'http://www.cpan.org/RECENT'"  \
     | grep "/by-module/Acme" | mail -s "New Acme modules! Joy!" $USER

LWP::Simple にはその他にも便利な関数があります; URL に HEAD リクエストを 送る関数 (リンクのチェックや、ある URL の最終更新日時の取得に便利です) や、 URL の内容をローカルファイルに保存/ミラーするための二つの関数などです。 完全な詳細については LWP::Simple の文書 、 更なる例については Perl & LWP の第 2 章を参照してください。

LWP クラスモデルの基本¶

LWP::Simple の関数は単純な状況では便利ですが、この関数はクッキーや認証に 対応していませんし、HTTP リクエストのヘッダ行の設定にも対応しませんし、 一般的には HTTP レスポンスのヘッダ行の読み込み(特に、エラー時の 完全な HTTP エラーメッセージ)も対応していません。 これらの機能全てを使うには、完全な LWP クラスモデルを使う必要があります。

LWP は数十のクラスで構成されていますが、理解する必要がある主な二つのものは LWP::UserAgent と HTTP::Response です。 LWP::UserAgent はリクエストを実行するときに使う「仮想ブラウザ」で、 HTTP::Response はそのリクエストから返されたレスポンス(あるいは エラーメッセージ) のためのクラスです。

基本的な慣用法は $response = $browser->get($url) で、もう少し 完全に示すと:

  # Early in your program:
  
  use LWP 5.64; # Loads all important LWP classes, and makes
                #  sure your version is reasonably recent.

  my $browser = LWP::UserAgent->new;
  
  ...
  
  # Then later, whenever you need to make a get request:
  my $url = 'http://www.npr.org/programs/fa/?todayDate=current';
  
  my $response = $browser->get( $url );
  die "Can't get $url -- ", $response->status_line
   unless $response->is_success;

  die "Hey, I was expecting HTML, not ", $response->content_type
   unless $response->content_type eq 'text/html';
     # or whatever content-type you're equipped to deal with

  # Otherwise, process the content somehow:
  
  if($response->decoded_content =~ m/jazz/i) {
    print "They're talking about jazz today on Fresh Air!\n";
  }
  else {
    print "Fresh Air is apparently jazzless today.\n";
  }

二つのオブジェクトが関わっています: $browser は LWP::UserAgent クラスの オブジェクトを保持し、$response オブジェクトは HTTP::Response クラスです。 本当に必要なブラウザオブジェクトは 1 プログラム中に一つだけです; しかしリクエストを出す毎に新しい HTTP::Response オブジェクトが返され、 これにはいくつかの興味深い属性を保持しています:

• A status code indicating success or failure (which you can test with $response->is_success).

  成功か失敗かを示しているステータスコード($response->is_success で テストできます)。

• An HTTP status line that is hopefully informative if there's failure (which you can see with $response->status_line, returning something like "404 Not Found").

  失敗したときの情報になるかもしれない HTTP ステータス行 ($response->status_line で見ることができ、"404 Not Found" の ようなものが返されます)。

• A MIME content-type like "text/html", "image/gif", "application/xml", etc., which you can see with $response->content_type

  "text/html", "image/gif", "application/xml" のような MIME コンテントタイプ; $response->content_type で見ることができます。

• The actual content of the response, in $response->decoded_content. If the response is HTML, that's where the HTML source will be; if it's a GIF, then $response->decoded_content will be the binary GIF data.

  $response->decoded_content にあるレスポンスの実際の内容。 レスポンスが HTML の場合、ここが HTML ソースが入っている場所です; GIF の場合、$response->decoded_content は GIF データバイナリです。

• And dozens of other convenient and more specific methods that are documented in the docs for HTTP::Response, and its superclasses HTTP::Message and HTTP::Headers.

  そしてたくさんのその他の便利でより特有のメソッドは、 HTTP::Response およびそのスーパークラスである HTTP::Message と HTTP::Headers の文書で文書化されています。

その他の HTTP リクエストヘッダを追加する¶

リクエストのための最も一般的な使い方の文法は $response = $browser->get($url) ですが、実際の所、以下のように、 URL の後にキー/値の組のリストを追加することで追加の HTTP ヘッダを 追加できます:

  $response = $browser->get( $url, $key1, $value1, $key2, $value2, ... );

例えば、Netscape 風のヘッダなしではリクエストを拒否するサイトを扱うために そのようなヘッダを追加するには:

  my @ns_headers = (
   'User-Agent' => 'Mozilla/4.76 [en] (Win98; U)',
   'Accept' => 'image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, image/png, */*',
   'Accept-Charset' => 'iso-8859-1,*,utf-8',
   'Accept-Language' => 'en-US',
  );

  ...
  
  $response = $browser->get($url, @ns_headers);

配列を再利用しないなら、単に以下のようにできます:

  $response = $browser->get($url,
   'User-Agent' => 'Mozilla/4.76 [en] (Win98; U)',
   'Accept' => 'image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, image/png, */*',
   'Accept-Charset' => 'iso-8859-1,*,utf-8',
   'Accept-Language' => 'en-US',
  );

もし 'User-Agent' 行だけを変更するなら、LWP::UserAgent の agent メソッドを 使って、$browser オブジェクトのデフォルト行である "libwww-perl/5.65" (あるいは似たようなもの) から好みのものに変更できます:

   $browser->agent('Mozilla/4.76 [en] (Win98; U)');

クッキーを有効にする¶

デフォルトの LWP::UserAgent オブジェクトは、クッキー対応をオフにした ブラウザのように振る舞います。 cookie_jar 属性を設定することで有効にするいくつかの方法があります。 「クッキー容器」("cookie jar") は、ブラウザが知っている全ての HTTP クッキーのデータベースを表現するオブジェクトです。 これはディスク上のファイル (Netscape が cookies.txt ファイルで 使っている方法)か、単に空から開始してプログラム終了時に消えてしまう メモリ上のオブジェクトに対応させることができます。

メモリ上に空のクッキー容器をブラウザに設定するには、以下のように cookie_jar 属性に設定します:

  $browser->cookie_jar({});

ディスク上のファイルから読み込んだデータを指定して、プログラム終了時に 保存するためには、cookie_jar 属性を以下のように設定します:

  use HTTP::Cookies;
  $browser->cookie_jar( HTTP::Cookies->new(
    'file' => '/some/where/cookies.lwp',
        # where to read/write cookies
    'autosave' => 1,
        # save it to disk when done
  ));

このファイルは LWP 固有の形式です。 Netscape のクッキーファイルのクッキーをアクセスするようにするには、 HTTP::Cookies::Netscape クラスを使えます:

  use HTTP::Cookies;
    # yes, loads HTTP::Cookies::Netscape too
  
  $browser->cookie_jar( HTTP::Cookies::Netscape->new(
    'file' => 'c:/Program Files/Netscape/Users/DIR-NAME-HERE/cookies.txt',
        # where to read cookies
  ));

上述のように 'autosave' => 1 行を追加することもできますが、 書き込み時に Netscape がディスクに書き戻そうとしたクッキーの一部を 破棄するかどうかは不確定です。

フォームデータを投稿する¶

多くの HTML フォームは HTTP POST リクエストを使ってサーバにデータを 送りますが、これには以下のような文法を使います:

 $response = $browser->post( $url,
   [
     formkey1 => value1, 
     formkey2 => value2, 
     ...
   ],
 );

あるいは HTTP ヘッダを送る必要がある場合は:

 $response = $browser->post( $url,
   [
     formkey1 => value1, 
     formkey2 => value2, 
     ...
   ],
   headerkey1 => value1, 
   headerkey2 => value2, 
 );

例えば、以下のプログラムは AltaVista に (フォームデータを HTTP POST リクエスト経由で送信することで) 検索リクエストを送って、HTML から マッチングの数の報告を展開します:

  use strict;
  use warnings;
  use LWP 5.64;
  my $browser = LWP::UserAgent->new;

  my $word = 'tarragon';

  my $url = 'http://search.yahoo.com/yhs/search';
  my $response = $browser->post( $url,
    [ 'q' => $word,  # the Altavista query string
      'fr' => 'altavista', 'pg' => 'q', 'avkw' => 'tgz', 'kl' => 'XX',
    ]
  );
  die "$url error: ", $response->status_line
   unless $response->is_success;
  die "Weird content type at $url -- ", $response->content_type
   unless $response->content_is_html;

  if( $response->decoded_content =~ m{([0-9,]+)(?:<.*?>)? results for} ) {
    # The substring will be like "996,000</strong> results for"
    print "$word: $1\n";
  }
  else {
    print "Couldn't find the match-string in the response\n";
  }

GET フォームデータを送信する¶

HTML フォームには、フォームデータを送るのに HTTP POST リクエストで 送るのではなく、URL の末尾にデータを付けて 通常の GET リクエストで 送るものもあります。 例えば、www.imdb.com で "Blade Runner" を検索すると、ブラウザウィンドウに 表示される URL は:

  http://www.imdb.com/find?s=all&q=Blade+Runner

同じ検索を LWP で実行するには、URI を使ったこの定型文を使います:

  use URI;
  my $url = URI->new( 'http://www.imdb.com/find' );
    # makes an object representing the URL

  $url->query_form(  # And here the form data pairs:
    'q' => 'Blade Runner',
    's' => 'all',
  );

  my $response = $browser->get($url);

HTML フォームとフォームデータに関するより長い議論についてはPerl & LWP の 第 5 章を、HTML からのデータの抽出に関するより長い議論については 第 6 章から第 9 章を参照してください。

URL の絶対化¶

先に触れた URI クラスは、URL の一部にアクセスしたり修正したりする あらゆる種類のメソッドを提供しています ($url->scheme で URL の種類を調べたり、$url->host で 参照しているホストを調べたり、などです; これらは URI クラスの文書 に 記述されています)。 しかし、もっとも直接重要なメソッドは上述の query_form と、 以下のように ("../foo.html" のような) おそらく相対の URL を取って ("http://www.perl.com/stuff/foo.html" のような)絶対 URL を返す new_abs メソッドです:

  use URI;
  $abs = URI->new_abs($maybe_relative, $base);

例えば、CPAN の新しいモジュールの HTML リストにある URL にマッチングする このプログラムを考えます:

  use strict;
  use warnings;
  use LWP;
  my $browser = LWP::UserAgent->new;
  
  my $url = 'http://www.cpan.org/RECENT.html';
  my $response = $browser->get($url);
  die "Can't get $url -- ", $response->status_line
   unless $response->is_success;
  
  my $html = $response->decoded_content;
  while( $html =~ m/<A HREF=\"(.*?)\"/g ) {
    print "$1\n";
  }

実行すると、このようなものを出力します:

  MIRRORING.FROM
  RECENT
  RECENT.html
  authors/00whois.html
  authors/01mailrc.txt.gz
  authors/id/A/AA/AASSAD/CHECKSUMS
  ...

しかし、実際には絶対 URL がほしい場合、URI モジュールの new_abs メソッドを使って、while ループをこのように変更できます:

  while( $html =~ m/<A HREF=\"(.*?)\"/g ) {
    print URI->new_abs( $1, $response->base ) ,"\n";
  }

(HTTP::Message の $response->base メソッドは、 相対 URL を解決するためにどの URL が使われるかを返されます -- これは普通 要求した URL と同じです。)

このプログラムはいい感じに絶対 URL を出力します:

  http://www.cpan.org/MIRRORING.FROM
  http://www.cpan.org/RECENT
  http://www.cpan.org/RECENT.html
  http://www.cpan.org/authors/00whois.html
  http://www.cpan.org/authors/01mailrc.txt.gz
  http://www.cpan.org/authors/id/A/AA/AASSAD/CHECKSUMS
  ...

URI オブジェクトに関するより長い説明については Perl & LWP の第 4 章を 参照してください。

もちろん、href のマッチングに正規表現を使うのは少し単純化しすぎです; より堅牢なプログラムのためには、HTML::LinkExtor, HTML::TokeParser, HTML::TreeBuilder のような HTML パースモジュールを使いたいでしょう。

その他のブラウザ属性¶

LWP::UserAgent オブジェクトには、動作を制御するための多くの属性があります。 注目するべきものをいくつか示します:

• $browser->timeout(15);

  $browser->timeout(15);

  This sets this browser object to give up on requests that don't answer within 15 seconds.

  これは、リクエストに 15 秒以内に返事がないと諦めるように ブラウザオブジェクトを設定します。

• $browser->protocols_allowed( [ 'http', 'gopher'] );

  $browser->protocols_allowed( [ 'http', 'gopher'] );

  This sets this browser object to not speak any protocols other than HTTP and gopher. If it tries accessing any other kind of URL (like an "ftp:" or "mailto:" or "news:" URL), then it won't actually try connecting, but instead will immediately return an error code 500, with a message like "Access to 'ftp' URIs has been disabled".

  これは、HTTP と gopher 以外のプロトコルを話さないようにオブジェクトに 設定します。 ("ftp:" や "mailto:" や "news:" URL のような)その他の種類の URL で アクセスしようとすると、実際に接続しようとはせず、直ちにエラーコード 500 と "Access to 'ftp' URIs has been disabled" のようなメッセージで返ります。

• use LWP::ConnCache; $browser->conn_cache(LWP::ConnCache->new());

  use LWP::ConnCache; $browser->conn_cache(LWP::ConnCache->new());

  This tells the browser object to try using the HTTP/1.1 "Keep-Alive" feature, which speeds up requests by reusing the same socket connection for multiple requests to the same server.

  これは、同じサーバへの複数のリクエストに対して同じソケット接続を 再利用することでリクエストを高速化する、HTTP/1.1 "Keep-Alive" 機能を 使うようにブラウザオブジェクトに設定します。

• $browser->agent( 'SomeName/1.23 (more info here maybe)' )

  $browser->agent( 'SomeName/1.23 (more info here maybe)' )

  This changes how the browser object will identify itself in the default "User-Agent" line is its HTTP requests. By default, it'll send "libwww-perl/versionnumber", like "libwww-perl/5.65". You can change that to something more descriptive like this:

  これはブラウザオブジェクトが HTTP リクエストのデフォルトの "User-Agent" 行で何と名乗るかを変更します。 デフォルトでは、"libwww-perl/5.65" のように、 "libwww-perl/バージョン番号" を送ります。 以下のようなもっと説明的なものに変更できます:

    $browser->agent( 'SomeName/3.14 (contact@robotplexus.int)' );

  Or if need be, you can go in disguise, like this:

  あるいは、もし必要なら、以下のように偽装することも出来ます:

    $browser->agent( 'Mozilla/4.0 (compatible; MSIE 5.12; Mac_PowerPC)' );

• push @{ $ua->requests_redirectable }, 'POST';

  push @{ $ua->requests_redirectable }, 'POST';

  This tells this browser to obey redirection responses to POST requests (like most modern interactive browsers), even though the HTTP RFC says that should not normally be done.

  これは、このブラウザは POST リクエストに対するリダイレクト要求を (最近のほとんどの対話的ブラウザと同様) 拒否することを示します (ただし HTTP の RFC は普通は拒否するべきではないとしています);

さらなるオプションと情報については、LWP::UserAgent の完全な 文書 を参照してください。

礼儀正しいボットを書く¶

あなたの LWP ベースのプログラムが robots.txt を尊重して、一度に多くの リクエストを送らないようにするには、LWP::UserAgent クラスの代わりに LWP::RobotUA クラスが使えます。

LWP::RobotUA クラスは LWP::UserAgentのようなもので、以下のようにして 使えます:

  use LWP::RobotUA;
  my $browser = LWP::RobotUA->new('YourSuperBot/1.34', 'you@yoursite.com');
    # Your bot's name and your email address

  my $response = $browser->get($url);

しかし、HTTP::RobotUA には以下のような機能が追加されています:

• If the robots.txt on $url's server forbids you from accessing $url, then the $browser object (assuming it's of class LWP::RobotUA) won't actually request it, but instead will give you back (in $response) a 403 error with a message "Forbidden by robots.txt". That is, if you have this line:

  $url のサーバの robots.txt が $url へのアクセスを禁止しているなら、 $browser オブジェクト (LWP::RobotUA クラスと仮定しています) は実際に リクエストを送ることはせず、代わりに ($response で) "Forbidden by robots.txt" というメッセージ付きで 403 エラーを返します。 つまり、以下のようにすると:

    die "$url -- ", $response->status_line, "\nAborted"
     unless $response->is_success;

  then the program would die with an error message like this:

  このプログラムは以下のようなエラーメッセージを出力して die します:

    http://whatever.site.int/pith/x.html -- 403 Forbidden by robots.txt
    Aborted at whateverprogram.pl line 1234

• If this $browser object sees that the last time it talked to $url's server was too recently, then it will pause (via sleep) to avoid making too many requests too often. How long it will pause for, is by default one minute -- but you can control it with the $browser->delay( minutes ) attribute.

  この $browser オブジェクトが、最後に $url のサーバと通信したのが 最近過ぎる場合、あまり頻繁にリクエストを送りすぎないように、(sleep を 使って) 一時停止します。 一時停止する時間は、デフォルトでは 1 分です -- しかし $browser->delay( minutes ) 属性で制御できます。

  For example, this code:

  例えば、このコードは:

    $browser->delay( 7/60 );

  ...means that this browser will pause when it needs to avoid talking to any given server more than once every 7 seconds.

  このブラウザは、どのサーバに対しても 7 秒に 1 回以上接続しないように するために一時停止することを意味します。

さらなるオプションと情報については、LWP::RobotUA の完全な 文書 を参照してください。

プロキシを使う¶

場合によっては、ある種のサイトへのアクセスやある種のプロトコルの使用のために プロキシを使用したい(あるいは使用する必要がある)ことがあります。 これは、LWP を使ったプログラムがファイアウォールの背後のマシンで実行される (あるいは実行されるかもしれない)時にもっとも一般的な状況です。

ブラウザオブジェクトが通常の環境変数(HTTP_PROXY など)で定義している プロキシを使うようにするには、単にリクエストの前にユーザーエージェント オブジェクトの env_proxy を呼び出すだけです。 具体的には:

  use LWP::UserAgent;
  my $browser = LWP::UserAgent->new;
  
  # And before you go making any requests:
  $browser->env_proxy;

プロキシ引数に関するさらなる情報については、LWP::UserAgent の 文書 の、特に proxy, env_proxy, no_proxy メソッドを参照してください。

HTTP 認証¶

多くのウェブサイトは文書へのアクセスを "HTTP 認証" を使って制限しています。 これは単なる "パスワードを入力してください" 形式の制限ではなく、 HTTP サーバがブラウザに「この文書は保護された「レルム」の一部であり、 リクエストに専用の認証ヘッダを追加して再リクエストした場合にのみ アクセスできます」という意味の HTTP コードを返すという、専用の機構です。

例えば、Unicode.org の管理者は、メーリングリストアーカイブを HTTP 認証で 保護して、このユーザー名とパスワードを (http://www.unicode.org/mail-arch/ で)公にする (ユーザー名 "unicode-ml" パスワード "unicode") ことで、 電子メールアドレス収集ボットがアーカイブからアドレスを収集するのを 阻止しています。

例えば、ウェブサイトのうち保護されたエリアである、この URL について 考えます:

  http://www.unicode.org/mail-arch/unicode-ml/y2002-m08/0067.html

ここにブラウザでアクセスすると、 "Enter username and password for 'Unicode-MailList-Archives' at server 'www.unicode.org'" のようなプロンプトが出ます。

LWP では、もし単にこの URL にリクエストしたいなら、以下のようにします:

  use LWP;
  my $browser = LWP::UserAgent->new;

  my $url =
   'http://www.unicode.org/mail-arch/unicode-ml/y2002-m08/0067.html';
  my $response = $browser->get($url);

  die "Error: ", $response->header('WWW-Authenticate') || 'Error accessing',
    #  ('WWW-Authenticate' is the realm-name)
    "\n ", $response->status_line, "\n at $url\n Aborting"
   unless $response->is_success;

そうするとこのエラーを受け取ります:

  Error: Basic realm="Unicode-MailList-Archives"
   401 Authorization Required
   at http://www.unicode.org/mail-arch/unicode-ml/y2002-m08/0067.html
   Aborting at auth1.pl line 9.  [or wherever]

なぜなら $browser はこのホスト ("www.unicode.org") のこのレルム ("Unicode-MailList-Archives") のユーザー名とパスワードを知らないからです。 ブラウザにこれを知らせるもっとも簡単な方法は、このホストのこのレルムに使う ユーザーとパスワードを知らせる credentials メソッドを使うことです。 文法は:

  $browser->credentials(
    'servername:portnumber',
    'realm-name',
   'username' => 'password'
  );

ほとんどの場合、ポート番号は HTTP のデフォルト TCP/IP ポートである 80 です; そして普通はリクエストの前に credentials メソッドを呼び出します。 例えば:

  $browser->credentials(
    'reports.mybazouki.com:80',
    'web_server_usage_reports',
    'plinky' => 'banjo123'
  );

そして、上述のプログラムに以下のものを加えるなら、$browser = LWP::UserAgent->new; 行の直後にします…

  $browser->credentials(  # add this to our $browser 's "key ring"
    'www.unicode.org:80',
    'Unicode-MailList-Archives',
    'unicode-ml' => 'unicode'
  );

それから実行すると、リクエストは die を引き起こさずに成功します。

HTTPS URL にアクセスする¶

HTTPS の URL にアクセスすると、(LWP インストール時に (適切な SSL ライブラリを使って) HTTPS 対応しているなら) HTTP の URL と同様に動作します。 例えば:

  use LWP;
  my $url = 'https://www.paypal.com/';   # Yes, HTTPS!
  my $browser = LWP::UserAgent->new;
  my $response = $browser->get($url);
  die "Error at $url\n ", $response->status_line, "\n Aborting"
   unless $response->is_success;
  print "Whee, it worked!  I got that ",
   $response->content_type, " document!\n";

HTTPS 対応なしで LWP がインストールされている場合、レスポンスは失敗し、 以下のようなエラーメッセージが発生します:

  Error at https://www.paypal.com/
   501 Protocol scheme 'https' is not supported
   Aborting at paypal.pl line 7.   [or whatever program and line]

LWP インストール時に HTTPS 対応されて いる 場合、レスポンスは成功し、 通常の HTTP レスポンスと同様の $response が使えます。

LWP インストール時に HTTPS 対応にするための情報については、libwww-perl 配布に 同梱されている README.SSL ファイルを参照してください。

大きな文書を取得する¶

大きな (または少なくとも大きい可能性がある) 文書をリクエストするとき、 ($response = $browser->get($url) のような) リクエストメソッドを使った 通常の方法の問題点は、メモリ上のレスポンスオブジェクトが文書全体を保持する 必要があることです -- メモリ上の。 もしレスポンスが 30 メガバイトのファイルなら、おそらくプロセスのメモリ消費に とって負担となるでしょう。

注目するべき代替案は、LWP がメモリ上ではなく、ディスク上のファイルに内容を 保存するようにすることです。 これが使用するための文法です:

  $response = $ua->get($url,
                         ':content_file' => $filespec,
                      );

例えば、

  $response = $ua->get('http://search.cpan.org/',
                         ':content_file' => '/tmp/sco.html'
                      );

:content_file オプションを使うとき、$response には通常のヘッダ行 全てが含まれていますが、$response->content は空です。

この ":content_file" オプションは古いバージョンの LWP では 対応していないので、もし古いバージョンのシステムでも実行されるかもしれないと 考えるなら、LWP バージョンをチェックするために use LWP 5.66; を 追加することを考慮するべきかもしれません。

もし古い LWP バージョンとの互換性が必要なら、同じことをする以下の構文を 使ってください:

  use HTTP::Request::Common;
  $response = $ua->request( GET($url), $filespec );

SEE ALSO¶

この記事は LWP の最も初歩的な説明に過ぎないことに注意してください -- LWP および LWP 関連のタスクについてもっと学ぶためには、本当に以下のものを 読まなければなりません:

• LWP::Simple -- simple functions for getting/heading/mirroring URLs

  LWP::Simple -- URL の取得、ヘッダ取得、ミラーのための単純な関数

• LWP -- overview of the libwww-perl modules

  LWP -- libwww-perl モジュールの概説

• LWP::UserAgent -- the class for objects that represent "virtual browsers"

  LWP::UserAgent -- 「仮想ブラウザ」を表現するオブジェクトのクラス

• HTTP::Response -- the class for objects that represent the response to a LWP response, as in $response = $browser->get(...)

  HTTP::Response -- $response = $browser->get(...) などで LWP レスポンスを表現するためのオブジェクトのクラス

• HTTP::Message and HTTP::Headers -- classes that provide more methods to HTTP::Response.

  HTTP::Message と HTTP::Headers -- HTTP::Response にもっと多くの メソッドを提供するクラス

• URI -- class for objects that represent absolute or relative URLs

  URI -- 絶対および相対の URL を表現するオブジェクトのクラス

• URI::Escape -- functions for URL-escaping and URL-unescaping strings (like turning "this & that" to and from "this%20%26%20that").

  URI::Escape -- ("this & that" と "this%20%26%20that" の変換のように) URL エスケープと URL アンエスケープのための関数

• HTML::Entities -- functions for HTML-escaping and HTML-unescaping strings (like turning "C. & E. Brontë" to and from "C. & E. Brontë")

  HTML::Entities -- ("C. & E. Brontë" と "C. & E. Brontë" の 変換のように) HTML エスケープと HTML アンエスケープのための関数

• HTML::TokeParser and HTML::TreeBuilder -- classes for parsing HTML

  HTML::TokeParser と HTML::TreeBuilder -- HTML をパースするためのクラス

• HTML::LinkExtor -- class for finding links in HTML documents

  HTML::LinkExtor -- HTML 文書中のリンクを探すクラス

• The book Perl & LWP by Sean M. Burke. O'Reilly & Associates, 2002. ISBN: 0-596-00178-9, http://oreilly.com/catalog/perllwp/. The whole book is also available free online: http://lwp.interglacial.com.

  Sean M. Burke による書籍 Perl & LWP O'Reilly & Associates, 2002. ISBN: 0-596-00178-9. http://oreilly.com/catalog/perllwp/。 本全体はオンラインでも無料で利用可能です: http://lwp.interglacial.com.

コピーライト¶

Copyright 2002, Sean M. Burke. You can redistribute this document and/or modify it, but only under the same terms as Perl itself.

作者¶

Sean M. Burke sburke@cpan.org