クローラー

クローラーとは

クローラーとは、Webサイトを網羅して、ある情報を集める機能をもったプログラムのことです。厳密には少し異なりますが、まあ大体合っているのでオーケーです。

私が初めて作ったプログラムは、2ちゃんねるの書き込みを手当たり次第集めてきて、プログラムというキーワードが含まれた書き込みだけを表示するクローラーでした。あっという間に一万以上の該当書き込みが集まり、プログラムの威力を体感できました。

注意点

クローラーは、ものすごい勢いで網羅先のサイトにアクセスすることになるので、サイトに、ものすごい不負荷がかかることがあります。
昔、図書館のホームページを網羅して、図書情報を集めていた人は、サイト側に与えていた負荷に気づかず、事件にまで発展してしまったことがあります。
気をつけましょう。