habu(ハブ）

Author: liris - Modified: 2007/08/31 14:54

へんなもの、ヘンなもの。プロジェクトはsourceforge(http://sourceforge.jp/projects/pyhabu/)に移動しました。

Tag: python

プロジェクトは sourceforge に移動しました。

概要

ハブっていうのは、外部サイトの情報をアグリゲートしたり変なことしたいので作ってみました。ハブの名前の由来は沖縄の毒蛇です。そのうち、ホンハブとか、ヒメハブも出てくるはずです。さらにアワモリとかあるかも。

ハブは何するものかと言うと、アグリゲーションです。まだ、 テスト実装と言うか、技術検証 みたいな位置づけです。Perlの例のやつのPython実装を目指しているっぽい。違うかもしれない。

実行するには、twistedとfeedparserぐらいがあればいいはず。あと、yaml。今のところ。基本的にはデーモンと言うか、サービスと言うかプロセスが常駐することを想定して、Perlのやつのようにcronで定期実行する事とかは想定していません。

yamlの設定ファイルを読み込んでpipelineで指定したシークエンスに従ってモジュールを動的にロードして順番に実行するようになっています。それぞれのモジュールは非同期で処理されます。エーと、フィルタとか、UNIXのパイプみたいな感じ。一度に複数のpipelineも実行できます。

現在は、モジュールとモジュールの間を移動するものがfeedparserでパースしたオブジェクトそのものです。それから、フィルタを通したり、最初のpublishのときに線が複数に分岐するようになっています。

プロセスが常駐するため、定期実行などの処理は独自のcronライクなスケジューラで実行します。