2007/02/23
昨日の作業 - へんなもの、へんなもの
とりあえず、サイトの方はトップページもゴチャゴチャするようにして、検索機能もついて一段落です。CSSをいじったリ、いろいろとAJAXで遊んでみる作業や管理画面を作るとか残っていますが、その辺はゆっくりとやっていきます(バージョン0.3になるのが3ヶ月後ぐらい)。
で、そのバージョン0.3で外部サイトの情報をアグリゲートしたり変なことしたいのでハブというものを作ってみました。ハブの名前の由来は沖縄の毒蛇です。そのうち、ホンハブとか、ヒメハブも出てくるはず。さらにアワモリとかあるかも。
ハブは何するものかと言うと、アグリゲーションです。とりあえず、昨日作り始めたばかりで、まだ、 テスト実装と言うか、技術検証 みたいな位置づけです。Perlの例のやつのPython実装を目指しているっぽい。違うかもしれない。
実行するには、twistedとfeedparserぐらいがあればいいのかな?今のところ。基本的にはデーモンと言うか、サービスと言うかプロセスが常駐することを想定して、Perlのやつのようにcronで定期実行する事とかは想定していません。
yamlの設定ファイルを読み込んでpipelineで指定したシークエンスに従ってモジュールを動的にロードして順番に実行するようになっています。それぞれのモジュールは非同期で処理されるはず。エーと、フィルタとか、UNIXのパイプみたいな感じ。一度に複数のpipelineも実行できるはず。
現在は、モジュールとモジュールの間を移動するものがfeedparserでパースしたオブジェクトそのものなんですが、それでいいのかな?それから、フィルタを通したり、最初のpublishのときに線が複数に分岐するようになっているんですが、いいのかな?
とりあえず、もう少しましなフィルタを書いて、最後の出力をデータベースに保存できるようになれば、それっぽく見えるかな。
あと、複数に分岐したものを全部がおわるまで待って処理を行なうところかな。