新ショッピングサイトシステムで、
要求されたときに必要があればAPI使ってデータとってくるんだが、
ブラウズノードの情報欲しいから、ブラウザでリスト開いてデータ取ってきてもらう作業やってた。
３０００強のノード情報は集まった。
商品数は10万強、レビューは5万強くらい。
1ページ目だけ取得でも、
いろんなブラウズノードから取ってくれば結構たまるね。

で、まだまだ書籍の一部だけやってるとこなんだが、
APIは1時間に２０００開始か叩けないから、一気にとってこれない。
ロボの訪問だけでも必要ならデータとってくるから、
放置である程度ロボが踏むの待つべきだった。


APIの待ち時間は、
アクトレのCSVブログにCSV流し込んだり。
記事数3万越えた。
インフォカートのCSVブログの方は、ちょい前に全部入れ終わった。


あと、
旧仕様のアマゾンAPIサイトシステムはたまりすぎ防止で、
上限きたら削除するようにしてたんだが、
新システムは削除しない仕組みでやっていこうと考えてる。
新サーバーで容量は余裕になったし、
レビュー取れなくなるから、削除したらもったいない。
んで、商品数いっぱいになるわけだが、
サイトマップは5万しか送れないから、
サイトマップインデックス生成機能つけようと思う。