* GetHTMLWにお引き取り願う
ログを見たら、"Pockey-GetHTML/4.12.0 (Win32; GUI; ix86)"を名乗るUAがものすごい勢い（秒間数アクセス）で根こそぎ(RandomNoteの項目まで)さらっていった形跡があった。
検索してみたところ、GetHTMLWとのこと。
あ゛ー、俺、昔使っていたよ…。ダイヤルアップ時代ならともかく、数メガbps当たり前の今日日動かすと恐ろしいことになるのだな。
プロキシモードで一度見た記事をため込んで使う分にはとても便利で有用なソフトだと思うのだけど、まるごと取得は勘弁。
というわけで、ちゃんとrobots.txtは読むので、一部動的ページからお引き取り願うことにした。
4.12以前は丸ごとお引き取り願うべきかなー。
参考：
先読みソフトについて [Archive] - XREA SUPPORT BOARD
http://sb.xrea.com/archive/index.php/t-1388.html
#Web
create : 2006/10/06 (Fri)
update : 2006/10/06 (Fri)
検索してみたところ、GetHTMLWとのこと。
あ゛ー、俺、昔使っていたよ…。ダイヤルアップ時代ならともかく、数メガbps当たり前の今日日動かすと恐ろしいことになるのだな。
★★ GetHTML Ver.4.13, GetHTMLW Ver.7.13 より、★★とのことだけど、使用者は古いのを使っていたようだな。
(1) 同一サーバ(ホスト)への同時取得数が 1 に固定されました
(2) 同一サーバ(ホスト)への連続取得に対し、1秒の wait をデフォルトで入れました
上記は、ブロードバンド化に伴う Web サーバへの負荷を軽減する為の措置です。
プロキシモードで一度見た記事をため込んで使う分にはとても便利で有用なソフトだと思うのだけど、まるごと取得は勘弁。
というわけで、ちゃんとrobots.txtは読むので、一部動的ページからお引き取り願うことにした。
4.12以前は丸ごとお引き取り願うべきかなー。
参考：
先読みソフトについて [Archive] - XREA SUPPORT BOARD
http://sb.xrea.com/archive/index.php/t-1388.html
#Web
create : 2006/10/06 (Fri)
update : 2006/10/06 (Fri)