某激安鯖で、負荷かけすぎとのことでcron止められたw
原因はcronじゃなくてロボと思うんで、こっちでもロボ制限しといた。
*/30とかしてたのがまずかったかな・・・
同じ様な感じで使ってる別サーバーも、言われる前に対策しといた。
元々使い捨て予定の鯖だから、cronは止まったままでいいかな。

さくらやCOREみたいにコンパネから負荷がわかれば言われる前に対策できるが、
わからないとどうにもならんよね。


ロボ制限する際に、
カラメル系ショッピングサイトがリストページのディレクトリわけしてなくてrobots.txtで特定ディレクトリの制限が出来無いことに気づいた。
問題鯖はそのままにしたが、今後はわけられるようにしておいた。
前にもAmazon系で問題になったが、
末端ページにロボきてくれればいいわけで、
リストページをロボ禁止すればだいぶ負荷軽減できる。
リストはCGI直じゃなくてmod_rewriteでディレクトリ分けする感じにしないとダメなんだよね。
今後は常に最初からそういう仕様にする事を心がける。

DMMとか系もディレクトリわけしてなかったんで、わけた。
これ系は1ドメインで複数サイトにしてるが、量産したいところ・・・

あと、アクセストレードのAPI使ったサイトもリストのディレクトリわけしてないんだが、
ちと仕様がダメすぎるからそのうち閉鎖かなー
捨てる予定の鯖に置いてるし。
アクトレ登録サイトが一つ余ることになるから、
どっかに別サイト作って引越し扱いかな。
アクトレのAPIは、こっち側に商品データ保存して使うとリストの生成が難しい。
CSV＞HTMLのシステムで忍者ホームページ行きかな。