coneco系のサイト忘れてたんで、304処理入れた。

coneco系もロボ避けしてなかったんだが、
リストと個別ページが同じCGIの仕様。
さらに、サブディレクトリにサブサイトを設置して、同じCGIで処理する感じになってた。
ちとめんどいから、ロボ避け処理は入れなかった。

でも、ディレクトリ別に.htaccessを複数置く感じにすれば問題ないかな・・・
その作戦でロボ避けしてみるか。