現在実行中のクエリーの一覧を見る db.currentOp() mongo> db.currentOp() { "inprog" : [ { "opid" : 11680, "active" : true, "secs_running" : 3719, "op" : "query", "ns" : "test.images", "query" : { "count" : "images", "query" : { "downloaded" :…

MongoDBではランダムソートをかけることができなくて、地理空間Indexを設定したフィールドから抽出することでランダムっぽくさせる、ということをやるわけですが。 ランダムで取り出す例 データを入れる mongo> for(i=0; i<1000; i++) { mongo> db.sandbox.i…

Linuxにはtimeoutという、プログラムが一定時間処理が返って来なかったらシグナルを送るというコマンドがあって、これが地味に便利なのでOSXでも使いたいなと思ったわけです。 インストール $ brew install coreutils Homebrewでcoreutilsを入れるとこの手の…

配列を2つ以上含むマルチキーではインデックスを作れないということらしい。 Multikey Indexes — MongoDB Manual 2.6.3

ダメな例 db.pages.aggregate([ {$group: { _id: '$tags', count: { $sum: 1} }}, {$sort: { count: -1 }} ]); { "result" : [ { "_id" : "巨乳", "count" : 78 }, { "_id" : [ "二次", "パンチラ" ], "count" : 35 }, ... タグが複数入っていると、両方合わ…

えろえろワードが入った記事を投稿したからだろうか。 はてなの収益奪ってすまんです……

ちょっと気になったので調べてみました。 オレオレ調べ 自サイト上での調査（二次画像系サイト） 計測期間は2014/01/18〜2014/07/03（計測タグを埋めたのが01/18のため） Google Analyticsのイベントを使って件数を集計 そのため、クローラー等のアクセスは…

こんなエラー Oops! The file /Users/hentai-kun/Desktop/test.html is detected as EUC-JP which is not supported by your Sublime Text. Please check whether it is in the list of Python's Standard Encodings (http://docs.python.org/library/codecs…

管理画面でクロールした別サイトにリンクを張っているのですが、管理画面のURLを外部に公開したくないのでリファラーを隠せないかなと思いまして。 リファラーを飛ばさない方法 リンク先にリファラーを飛ばさない方法として思いつく限りだと以下のものがある…

追記：本エラーが何度も出てきて四苦八苦した上での結論としては、 MongoDB River Pluginサイトに記載のバージョン（River Plugin 2.0.0、ElasticSearch 1.0.0、MongoDB 2.4.9）に合わせないと安定動作しないということが分かりました。マイナーバージョン含…

開設8ヶ月目。 先月18日に投稿回数を増やした影響か、アクセス数が予想以上に伸びててビビりました。 主にやったこと 随時 自宅PCのクローラーの安定稼働 先月から古いiMacのOSX SnowLeopad上にVagrantを載せて稼働させているのですが、高負荷時に不安定にな…

表題の通りですが、 $ mongorestore --drop ./backup/ とやったら、Elasticsearch側に以下のメッセージが出て検索できなくなってしまいました。 [2014-06-21 21:30:03,291][INFO ][org.elasticsearch.river.mongodb.Indexer] Ignore drop collection request…