読者です 読者をやめる 読者になる 読者になる

エロサイトの作り方

2013年11月から勉強しながらエロサイトを作っています。

エロサイトのクロールは03:00〜17:00の時間帯でお願いします

クローラー

タイトルが全て。

GWが暇だったのか、うちのサイトでもエロサイトをクロールするプログラムやらソフトを使って画像を取得する人がいましたが、こいつら平気で夜間に動かすんですよね。

エロサイトの時間帯別トラフィック

f:id:hentai-kun:20150505203432p:plain

見て分かるように、夜間集中型です。

特に22:00〜01:00までがピーク。

クローラーの鉄則は業務集中時間を外すこと

こんなのクローラー本にも書いてあるだろ、と思って確認したら書いてなかった。え、書いてないの?

常識的すぎて書かなかったとかなのか…

クローラーオフピーク活動を

時間帯でいうと03:00〜17:00まではオフピーク(土日は昼間にもうちょっと厚みがでるんだけどまあ細かい事はいいでしょう)と言えると思う。オフピークのクローリングなら大抵のサイト管理者は大目に見てくれると思うので、IPアドレスでアクセス制限とかされる前に夜間は自粛しましょう。

DMMからAV女優と作品情報を取ろうとかいう場合も気をつかってくださいな。