やっぱりSQLite使って行数制限なしで抽出できるようにした。
エラー１０００行までとかだと、ウイルスみたいのの404攻撃で余裕で埋まっちゃうね。
前の仕様じゃ、１００００行とか上限増やすと無理があったし。

で、ついでだから、
エラーと条件指定以外にも、
-ステータスコード別
-ファイル別
-リファラ別
-UserAgent別
-ホスト別
でも抽出可能にした。

ただ、やっぱりSQLiteでの大量書き込みは遅いわ。
3万行くらいで、前の仕様なら数秒って感じなんだが、SQLite使ったら10分になったよw
インデックス作らなきゃ早いのかもしれないが、
インデックスなしじゃ抽出の際に逆に時間かかっちゃうからな。
難しいところだ・・・

で、SQLiteに全行突っ込むと時間かかるし、
圧縮もできないからDB容量も結構なもんになる。
ってわけで、対策として、
エラーと条件指定一致時のみinsertするようにも設定できるようにした。