今更だが、かなり古くてサイトがEUC-JPで作られてるパチサイトの波ダッシュ対策した。
ずっと対策せずに放置してたんだが、
古いからEncodeモジュールじゃなくてJcode使ってる部分があって、
波ダッシュ>?
になっちゃうとこがあった。
微妙にチェックするんで、
気づいたら手動変換してたんだが、
めんどいから対策した。
文字コード変換前に、
if(Jcode::getcode($html) eq 'utf8'){
$html=~s/\xef\xbd\x9e/\xe3\x80\x9c/g;
}
て入れた。
多分うまくいくと思うけど、しばらく様子見しないとだな。
2コンテンツでパチとスロ両方だから計4コンテンツだったが、
Amazon系の半動的生成部分も対策。
ここもGooglebotのアクセス多い感じだから対策した。
さらに他にもAPI系でキャッシュ更新頻度の高い箇所があったんで、
そこもGooglebot対策した。
Crawl-Delay見てくれれば楽なんだがな・・・
他にもいくつかGooglebot対策すれば負荷減らせそうなサイトとかコンテンツあるんで、
しばらくGooglebot対策に力入れるかな。