エロサイトのクロールは03:00〜17:00の時間帯でお願いします

タイトルが全て。

GWが暇だったのか、うちのサイトでもエロサイトをクロールするプログラムやらソフトを使って画像を取得する人がいましたが、こいつら平気で夜間に動かすんですよね。

エロサイトの時間帯別トラフィック

見て分かるように、夜間集中型です。

特に22:00〜01:00までがピーク。

クローラーの鉄則は業務集中時間を外すこと

こんなのクローラー本にも書いてあるだろ、と思って確認したら書いてなかった。え、書いてないの？

常識的すぎて書かなかったとかなのか…

クローラーもオフピーク活動を

時間帯でいうと03:00〜17:00まではオフピーク（土日は昼間にもうちょっと厚みがでるんだけどまあ細かい事はいいでしょう）と言えると思う。オフピークのクローリングなら大抵のサイト管理者は大目に見てくれると思うので、IPアドレスでアクセス制限とかされる前に夜間は自粛しましょう。

DMMからAV女優と作品情報を取ろうとかいう場合も気をつかってくださいな。