アマゾンのブラウズノードとノード内商品リストの取得＆DB更新のスクリプトできた。
cron突っ込んどいた。

問題は、レビュー取得できた場合、
その商品のレビューを一旦全削除して追加する仕様なんだよね。
で、行番号はauto_increment。
更新しすぎると行番号増えすぎちゃう。
まあ、億はいけるし、11月でレビュー取れなくなるから問題ないかな。
よく考えるとレビューは非ユニークのJANコードで取得するしようにしてるから、
レビューのテーブルはPRIMARY KEYなし仕様でもいいんだな。

あと、
SimilarProductsでASINと商品名だけを取得した際に、新規商品ならASINをDBに登録するが、
その後詳細情報取得した際に一旦削除するしようにしてある。
同じ商品がJANコードで登録されている可能性があるため。
これもauto_incrementで行番号の増加につながっちゃう。
この辺も見直し必要かも。
SQLiteならauto_incrementでもint型なら再利用可能なんだがな。（integer型だと再利用しない）
まあ、億単位いけるから限界こないとは思うが・・・
限界見えてきたら、再利用システムでも考えよう。

SimilarProductsによる、詳細取得していないASINについては、
要求がくれば詳細取得するんだが、その行番号が消えちゃう。
ロボに踏まれる前に自動で取得するようスクリプト作ろうと思う。

あと、いくつか表示システムの方に問題あったんで修正。


まだPCショップと総合ショッピングのサイトは旧システムが調子いいから移行が怖くて新システムに移行してないんだが、
新システムに移行したサイトも調子良さそうだから移行しちゃおうと思う。

パチとスロのアマゾンはDB使わない仕様なんだが、
ファイル数多くなっちゃうから同じDB使うように調整したい。
だが、キーワード検索でリスト作ってるから、
ブラウズノードでリスト作れないと難しい・・・