* RandomNoteの検索用クローラ対策
#RandomNote #Web #掲示板spam対策
googleやらyahooやらmsnやらが、入れ替わり立ち替わり、smode=sumやらsmode=countやらcmd=editやらのついたページを、別々のものと見なしてGETしていく。
こっちにもあっちにも無駄な負荷がかかる、とても不幸なことだ。
ただし、spam投稿用クローラが心配。textもtextareaもないのにPOSTする馬鹿がいるかもしれない、と危惧している。
ロボットか？の判断は、user_agentにｈｔｔｐ：が入っているかどうか。
さらに、ロボットに送るデータ量が減るという恩恵もあった。無駄なデータが減るのは、互いにとって有益だ。
create : 2007/12/12 (Wed)
update : 2007/12/14 (Fri)
googleやらyahooやらmsnやらが、入れ替わり立ち替わり、smode=sumやらsmode=countやらcmd=editやらのついたページを、別々のものと見なしてGETしていく。
こっちにもあっちにも無駄な負荷がかかる、とても不幸なことだ。
とりあえずの対策として、それらへのリンクをformにしてみた。
検索エンジンは、いくらなんでもsubmitしないだろうから、無駄にリンクを辿らなくなると期待。ただし、spam投稿用クローラが心配。textもtextareaもないのにPOSTする馬鹿がいるかもしれない、と危惧している。
ロボットの類相手では、cmd=editとかsmode=hogeとかあったら、404を返すようにした
既にsmode=hogeとかのページのurlが記録されていて、リンクが無くなっても読みに来る。だから、ロボットの類相手にそれらのページは404を返すようにした。ロボットか？の判断は、user_agentにｈｔｔｐ：が入っているかどうか。
ロボットなどに対して、サイドバーを渡さないようにした
検索の邪魔だよね。本文にないキーワードがあるのは。さらに、ロボットに送るデータ量が減るという恩恵もあった。無駄なデータが減るのは、互いにとって有益だ。
create : 2007/12/12 (Wed)
update : 2007/12/14 (Fri)