|
|
|
資源について(準備中)どのくらい資源が必要か、 どこに制限があって、 どうやればそれを外せるかという問題
最大インデックスいま知られている最大のものは すぎうらしろうさんによるAdded Files: 878,914 files Total Files: 878,914 files Size: 2,167,480,108 bytes Total Keywords: 7,339,687 words Time: 79874 sec.というもの。一日( 3600*24 = 86400 秒) 以内に終っている。 (File/sec = 11.0) http://www.namazu.org/ml/namazu-ring/msg00961.html 最近では、63M words という例がある(が問題が起きている) http://www.namazu.org/ml/namazu-users-ja/msg02681.html [Base] Total Keywords: 35,476,632 Time (sec): 73,629 [Append] Added Documents: 101,198 Size (bytes): 1,561,233,316 Total Documents: 225,401 Added Keywords: 27,642,787 Total Keywords: 63,119,419 Time (sec): 129,404 File/Sec: 0.78合計約 20,000 秒 ということは 2.5 日 ? Out of memory!と言われた時の参考に: さいのさんからの情報 メール16万通をmknmzすると Out of Memoryで死ぬ時には swap を増やして見るBenchmark一秒間にいくつの譜を処理出来るかを指標としている。namazu-users-ja 1458 の記事 (実は僕は自分の CPU の番号を間違えている。正しくは PPC 750) | ||||
この画面は jeedosaquin を使って表示している。
|