robots.txtで制限してみた
さくらライトの負荷が減らないからちょいロボ制限してみた。
ログ見ると、20秒に1回くらいGoogleさん訪問。
1日4500回程度なんだが、この程度で負荷計測されてると困るな。
どの程度まで負荷許されるのかわからんけど、負荷の計測自体は問題ないのかな?
/entry/
のページ数が多すぎが主な原因と思うんだが、
entryはロボきてほしいところ。
とりあえず、entry以外のリストページを全部ロボ禁止。
sitemapあるから、リストは持ってってもらう必要なし。
全体の間隔は20秒に制限してみた。