読者です 読者をやめる 読者になる 読者になる

エロサイトの作り方

2013年11月から勉強しながらエロサイトを作っています。

MongoDB+Elasticsearchで全文検索をする(リトライ)

前回の続き。

kuromojiが動かないのはバージョンの組み合わせの問題?

Elasticsearchは最新版(1.2.1)だから、kuromojiも最新版なら動くと思ったのだけど。

elasticsearch/elasticsearch-analysis-kuromoji · GitHub

In order to install the plugin, simply run: bin/plugin -install elasticsearch/elasticsearch-analysis-kuromoji/2.1.0.

kuromojiのトップでは2.1.0が最新らしい……と思いきや、その下に2.2.0があった!

Elasticsearch 1.2系用のブランチページも、

elasticsearch/elasticsearch-analysis-kuromoji at es-1.2 · GitHub

In order to install the plugin, simply run: bin/plugin -install elasticsearch/elasticsearch-analysis-kuromoji/2.2.0.

2.2.0になってる。

結局、直し忘れかよ(っω-`。)

'simply run'とか書いてあったからそのままコピペしてたわ。

kuromojiを入れ直す

$ plugin --remove elasticsearch/elasticsearch-analysis-kuromoji/2.1.0
-> Removing elasticsearch/elasticsearch-analysis-kuromoji/2.1.0
Removed elasticsearch/elasticsearch-analysis-kuromoji/2.1.0

消して、

$ plugin --install elasticsearch/elasticsearch-analysis-kuromoji/2.2.0
-> Installing elasticsearch/elasticsearch-analysis-kuromoji/2.2.0...
Trying http://download.elasticsearch.org/elasticsearch/elasticsearch-analysis-kuromoji/elasticsearch-analysis-kuromoji-2.2.0.zip...
Downloading ...(略)...DONE
Installed elasticsearch/elasticsearch-analysis-kuromoji/2.2.0 into /usr/local/Cellar/elasticsearch/1.2.1/plugins/analysis-kuromoji

入れる。

再びkuromojiで日本語解析してみる

$ curl -XGET 'http://localhost:9200/sandbox/_analyze?analyzer=kuromoji&pretty' -d '貧乳はステータスだ!希少価値だ!'
{
  "tokens" : [ {
    "token" : "貧",
    "start_offset" : 0,
    "end_offset" : 1,
    "type" : "word",
    "position" : 1
  }, {
    "token" : "乳",
    "start_offset" : 1,
    "end_offset" : 2,
    "type" : "word",
    "position" : 2
  }, {
    "token" : "ステータス",
    "start_offset" : 3,
    "end_offset" : 8,
    "type" : "word",
    "position" : 4
  }, {
    "token" : "希少",
    "start_offset" : 10,
    "end_offset" : 12,
    "type" : "word",
    "position" : 6
  }, {
    "token" : "価値",
    "start_offset" : 12,
    "end_offset" : 14,
    "type" : "word",
    "position" : 7
  } ]
}

おお、今度は成功した。

しかし貧乳という言葉は知らないらしい。無知なやつめ。

MongoDBのデータと連携させる

連携情報の登録

$ curl -XPUT 'http://localhost:9200/_river/mongodb/_meta' -d '{
  "type": "mongodb",
  "mongodb": {
    "db": "test",
    "collection": "pages"
  },
  "index": {
    "name": "test",
    "type": "pages"
  }
}'

ElasticsearchでいうIndex NameはMongoDBのデータベース、Index TypeはMongoDBのコレクション、という考え方でいいのではないかと。

{"_index":"_river","_type":"mongodb","_id":"_meta","_version":1,"created":true}%
__my_preexec_end_timetrack:local:3: not valid in this context: "type":

しかし、実行したらエラー。

[2014-06-12 09:18:38,610][WARN ][river                    ] [Wyatt Wingfoot] failed to create river [mongodb][mongodb]
org.elasticsearch.common.settings.NoClassSettingsException: Failed to load class with value [mongodb]
    at org.elasticsearch.river.RiverModule.loadTypeModule(RiverModule.java:87)
    at org.elasticsearch.river.RiverModule.spawnModules(RiverModule.java:58)
    at org.elasticsearch.common.inject.ModulesBuilder.add(ModulesBuilder.java:44)
    at org.elasticsearch.river.RiversService.createRiver(RiversService.java:137)
    at org.elasticsearch.river.RiversService$ApplyRivers$2.onResponse(RiversService.java:275)
    at org.elasticsearch.river.RiversService$ApplyRivers$2.onResponse(RiversService.java:269)
    at org.elasticsearch.action.support.TransportAction$ThreadedActionListener$1.run(TransportAction.java:93)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1110)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:603)
    at java.lang.Thread.run(Thread.java:722)
Caused by: java.lang.ClassNotFoundException: mongodb
    at java.net.URLClassLoader$1.run(URLClassLoader.java:359)
    at java.net.URLClassLoader$1.run(URLClassLoader.java:348)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:347)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:423)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:356)
    at org.elasticsearch.river.RiverModule.loadTypeModule(RiverModule.java:73)
    ... 9 more
[2014-06-12 09:18:38,623][INFO ][cluster.metadata         ] [Wyatt Wingfoot] [_river] update_mapping [mongodb] (dynamic)

サーバー側にもスタックトレースが出てる。

ここで気になるIssueが

MongoDB 2.6 support · Issue #265 · richardwilly98/elasticsearch-river-mongodb · GitHub

どうやら、MongoDB 2.6系にはまだ対応していないらしい。

また、バージョンの問題か……

MongoDBのダウングレード

というわけで、MongoDBのバージョンを下げます。

$ mkdir backup_2014-06-12
$ mongodump --out backup_2014-06-12
...

今のデータをバックアップして、

$ pkill mongod
$ brew uninstall mongo

現在のMongoDBを削除。

$ brew versions mongo
Warning: brew-versions is unsupported and may be removed soon.
Please use the homebrew-versions tap instead:
  https://github.com/Homebrew/homebrew-versions
2.6.1    git checkout db4fb7f /usr/local/Library/Formula/mongodb.rb
2.6.0    git checkout 1ccbeaa /usr/local/Library/Formula/mongodb.rb
2.4.10   git checkout 10e8328 /usr/local/Library/Formula/mongodb.rb
...

2.4系の最新版にしてみる。

$ cd /usr/local
$ git checkout 10e8328 /usr/local/Library/Formula/mongodb.rb
$ brew install mongodb
...

$ mongo --version
MongoDB shell version: 2.4.10

インストールできた。

$ launchctl load ~/Library/LaunchAgents/homebrew.mxcl.mongodb.plist

起動させて、

$ cd ~/work
$ mongorestore --drop 2014-06-12
...

データのリカバリも完了。

Elasticsearchのダウングレード

これで行けると思ってElasticsearchを起動させたら、以下のエラーで起動しなくなった。

[2014-06-12 17:44:44,434][INFO ][plugins                  ] [Ultragirl] loaded [mongodb-river, marvel, analysis-kuromoji], sites [marvel, head, river-mongodb]
{1.2.1}: Initialization Failed ...
- ExecutionError[java.lang.NoClassDefFoundError: org/elasticsearch/rest/XContentRestResponse]
    NoClassDefFoundError[org/elasticsearch/rest/XContentRestResponse]
        ClassNotFoundException[org.elasticsearch.rest.XContentRestResponse]

前回最初に出たエラーと同じだ。

というわけで、仕方なくElasticsearchもダウングレード。

$ brew uninstall elasticsearch
Uninstalling /usr/local/Cellar/elasticsearch/1.2.1...

一度消して、

$ brew versions elasticsearch
Warning: brew-versions is unsupported and may be removed soon.
Please use the homebrew-versions tap instead:
  https://github.com/Homebrew/homebrew-versions
1.2.1    git checkout be34fbb Library/Formula/elasticsearch.rb
1.2.0    git checkout 53d3a63 Library/Formula/elasticsearch.rb
1.1.1    git checkout e81e0c2 Library/Formula/elasticsearch.rb
1.1.0    git checkout c7f653b Library/Formula/elasticsearch.rb
1.0.1    git checkout 9b8103f Library/Formula/elasticsearch.rb
1.0.0    git checkout 1fb5dda Library/Formula/elasticsearch.rb
...

バージョン一覧を確認。

$ cd /usr/local
$ git checkout 1fb5dda Library/Formula/elasticsearch.rb

1.0.0をチェックアウトして、

$ brew install elasticsearch
==> Downloading https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.0.0.tar.gz
######################################################################## 100.0%
==> Caveats
Data:    /usr/local/var/elasticsearch/elasticsearch_hentai-kun/
Logs:    /usr/local/var/log/elasticsearch/elasticsearch_hentai-kun.log
Plugins: /usr/local/var/lib/elasticsearch/plugins/

To have launchd start elasticsearch at login:
    ln -sfv /usr/local/opt/elasticsearch/*.plist ~/Library/LaunchAgents
Then to load elasticsearch now:
    launchctl load ~/Library/LaunchAgents/homebrew.mxcl.elasticsearch.plist
Or, if you don't want/need launchctl, you can just run:
    elasticsearch --config=/usr/local/opt/elasticsearch/config/elasticsearch.yml
==> Summary
🍺  /usr/local/Cellar/elasticsearch/1.0.0: 31 files, 20M, built in 36 seconds

インストールできた。

$ vi /usr/local/Cellar/elasticsearch/1.0.0/config/elasticsearch.yml
cluster.name: elasticsearch_sandbox

クラスタ名を変えて、

$ plugin --install elasticsearch/elasticsearch-analysis-kuromoji/2.0.0
$ plugin --install elasticsearch/elasticsearch-mapper-attachments/2.0.0
$ plugin --install com.github.richardwilly98.elasticsearch/elasticsearch-river-mongodb/2.0.0

プラグインを入れ直す。

$ elasticsearch
[2014-06-12 17:56:49,798][INFO ][node                     ] [Namor the Sub-Mariner] version[1.0.0], pid[31622], build[a46900e/2014-02-12T16:18:34Z]
[2014-06-12 17:56:49,799][INFO ][node                     ] [Namor the Sub-Mariner] initializing ...
[2014-06-12 17:56:49,839][INFO ][plugins                  ] [Namor the Sub-Mariner] loaded [mongodb-river, analysis-kuromoji, mapper-attachments], sites [river-mongodb]
[2014-06-12 17:56:52,616][INFO ][node                     ] [Namor the Sub-Mariner] initialized
[2014-06-12 17:56:52,617][INFO ][node                     ] [Namor the Sub-Mariner] starting ...
[2014-06-12 17:56:52,791][INFO ][transport                ] [Namor the Sub-Mariner] bound_address {inet[/127.0.0.1:9300]}, publish_address {inet[/127.0.0.1:9300]}
[2014-06-12 17:56:55,833][INFO ][cluster.service          ] [Namor the Sub-Mariner] new_master [Namor the Sub-Mariner][Egx-oSyVQZy3f0Ump0RcRg][Air.local][inet[/127.0.0.1:9300]], reason: zen-disco-join (elected_as_master)
[2014-06-12 17:56:55,860][INFO ][discovery                ] [Namor the Sub-Mariner] elasticsearch_sandbox/Egx-oSyVQZy3f0Ump0RcRg
[2014-06-12 17:56:55,881][INFO ][http                     ] [Namor the Sub-Mariner] bound_address {inet[/127.0.0.1:9200]}, publish_address {inet[/127.0.0.1:9200]}
[2014-06-12 17:56:55,905][INFO ][gateway                  ] [Namor the Sub-Mariner] recovered [0] indices into cluster_state
[2014-06-12 17:56:55,906][INFO ][node                     ] [Namor the Sub-Mariner] started

そして動作確認。

$ curl -XPUT 'http://localhost:9200/sandbox'
{"acknowledged":true}%                                                                                                                                     ➜  ~  curl -XGET 'http://localhost:9200/sandbox/_analyze?analyzer=kuromoji&pretty' -d '貧乳はステータスだ!希少価値だ!'

$ curl -XGET 'http://localhost:9200/sandbox/_analyze?analyzer=kuromoji&pretty' -d '貧乳はステータスだ!希少価値だ!'
{
  "tokens" : [ {
    "token" : "貧",
    "start_offset" : 0,
    "end_offset" : 1,
    "type" : "word",
    "position" : 1
  }, {
    "token" : "乳",
    "start_offset" : 1,
    "end_offset" : 2,
    "type" : "word",
    "position" : 2
  }, {
    "token" : "ステータス",
    "start_offset" : 3,
    "end_offset" : 8,
    "type" : "word",
    "position" : 4
  }, {
    "token" : "希少",
    "start_offset" : 10,
    "end_offset" : 12,
    "type" : "word",
    "position" : 6
  }, {
    "token" : "価値",
    "start_offset" : 12,
    "end_offset" : 14,
    "type" : "word",
    "position" : 7
  } ]
}

kuromojiも使えた。

再びMongoDB連携

さて、次のMongoDB連携は……

$ curl -XPUT 'http://localhost:9200/_river/mongodb/_meta' -d '{
  "type": "mongodb",
  "mongodb": {
    "db": "test",
    "collection": "pages"
  },
  "index": {
    "name": "test",
    "type": "pages"
  }
}'
{"_index":"_river","_type":"mongodb","_id":"_meta","_version":1,"created":true}%                                                                           __my_preexec_end_timetrack:local:3: not valid in this context: "type":

やっと成功した!

[2014-06-12 18:02:28,144][INFO ][cluster.metadata         ] [Jack Frost] [_river] creating index, cause [auto(index api)], shards [1]/[1], mappings []
[2014-06-12 18:02:28,338][INFO ][cluster.metadata         ] [Jack Frost] [_river] update_mapping [mongodb] (dynamic)
[2014-06-12 18:02:29,371][INFO ][river.mongodb            ] Parse river settings for mongodb
[2014-06-12 18:02:29,397][INFO ][org.elasticsearch.river.mongodb.MongoDBRiver] Starting river mongodb
[2014-06-12 18:02:29,409][INFO ][cluster.metadata         ] [Jack Frost] [_river] update_mapping [mongodb] (dynamic)
[2014-06-12 18:02:29,410][INFO ][org.elasticsearch.river.mongodb.MongoDBRiver] MongoDB River Plugin - version[2.0.0] - hash[a0c23f1] - time[2014-02-23T20:40:05Z]
[2014-06-12 18:02:29,410][INFO ][org.elasticsearch.river.mongodb.MongoDBRiver] starting mongodb stream. options: secondaryreadpreference [false], drop_collection [false], include_collection [], throttlesize [5000], gridfs [false], filter [null], db [test], collection [pages], script [null], indexing to [test]/[pages]
[2014-06-12 18:02:29,484][INFO ][cluster.metadata         ] [Jack Frost] [test] creating index, cause [api], shards [5]/[1], mappings []
[2014-06-12 18:02:30,165][INFO ][org.elasticsearch.river.mongodb.MongoDBRiver] MongoDB version - 2.4.10
[2014-06-12 18:02:30,185][INFO ][cluster.metadata         ] [Jack Frost] [_river] update_mapping [mongodb] (dynamic)
[2014-06-12 18:02:30,228][INFO ][org.elasticsearch.river.mongodb.Slurper] MongoDBRiver is beginning initial import of test.pages
[2014-06-12 18:02:32,016][INFO ][org.elasticsearch.river.mongodb.Slurper] Collection pages - count: 1825569
[2014-06-12 18:02:32,142][INFO ][cluster.metadata         ] [Jack Frost] [test] update_mapping [pages] (dynamic)
[2014-06-12 18:02:32,320][INFO ][cluster.metadata         ] [Jack Frost] [test] update_mapping [pages] (dynamic)
[2014-06-12 18:02:34,609][INFO ][cluster.metadata         ] [Jack Frost] [test] update_mapping [pages] (dynamic)

サーバー側も動きだして、CPUも本気だし始めた。

デフォルトでkuromojiを使うように設定変更

$ vi /usr/local/Cellar/elasticsearch/1.0.0/config/elasticsearch.yml

index.analysis.analyzer.default.type: custom
index.analysis.analyzer.default.tokenizer: kuromoji_tokenizer

この2行を追加。

$ curl -XDELETE 'http://localhost:9200/_river/mongodb/'

$ curl -XPUT 'http://localhost:9200/_river/mongodb/_meta' -d '{
  "type": "mongodb",
  "mongodb": {
    "db": "test",
    "collection": "pages"
  },
  "index": {
    "name": "test",
    "type": "pages"
  }
}'

(する必要があるかわからないけど)一度Indexを削除して、再作成。

検索してみる

$ echo 貧乳 | nkf -WwMQ | tr = %
%E8%B2%A7%E4%B9%B3

$ curl -XGET 'http://localhost:9200/test/_search?q=title:%E8%B2%A7%E4%B9%B3&pretty'
(えろえろわーどなので自粛)

MongoDBのpagesコレクションから、titleに貧乳が含まれている一覧を検索。

それっぽい結果が出た。しかも速い!

Elasticsearch 1.1.1にしてみる

せっかくなので、1.1.1でもできるか試してみた。

$ git checkout e81e0c2 Library/Formula/elasticsearch.rb
$ brew uninstall elasticsearch
$ brew install elasticsearch
$ plugin -install elasticsearch/elasticsearch-analysis-kuromoji/2.0.0
-> Installing elasticsearch/elasticsearch-analysis-kuromoji/2.0.0...
Failed to install elasticsearch/elasticsearch-analysis-kuromoji/2.0.0, reason: plugin directory /usr/local/var/lib/elasticsearch/plugins/analysis-kuromoji already exists. To update the plugin, uninstall it first using -remove elasticsearch/elasticsearch-analysis-kuromoji/2.0.0 command

Pluginはインストール済みになってる?

$ plugin --list
Installed plugins:
    - analysis-kuromoji
    - mapper-attachments
    - river-mongodb

確かに入っている。

どうやらプラグインのインストール先が、

  • 1.2.1 /usr/local/Cellar/elasticsearch/1.2.1/plugins/
  • 1.1.1 /usr/local/var/lib/elasticsearch/plugins/
  • 1.0.0 /usr/local/var/lib/elasticsearch/plugins/

1.2系から変わっているらしい。

ついでに公式配布の管理用のプラグインも入れる。

$ plugin --install elasticsearch/marvel/latest
-> Installing elasticsearch/marvel/latest...
Trying http://download.elasticsearch.org/elasticsearch/marvel/marvel-latest.zip...
Downloading ...(略)...DONE
Installed elasticsearch/marvel/latest into /usr/local/var/lib/elasticsearch/plugins/marvel

管理画面へは、

http://localhost:9200/_plugin/marvel/

にアクセスで見れる。画面がカッコイイ。

$ vi /usr/local/Cellar/elasticsearch/1.1.1/config/elasticsearch.yml
cluster.name: elasticsearch_sandbox
...
index.analysis.analyzer.default.type: custom
index.analysis.analyzer.default.tokenizer: kuromoji_tokenizer

そして、起動

$ elasticsearch

起動できた。

$ curl -XPUT 'http://localhost:9200/_river/mongodb/_meta' -d '{
  "type": "mongodb",
  "mongodb": {
    "db": "test",
    "collection": "pages"
  },
  "index": {
    "name": "test",
    "type": "pages"
  }
}'

MongoDBのIndexも作れた。

$ echo 貧乳 | nkf -WwMQ | tr = %
%E8%B2%A7%E4%B9%B3

$ curl -XGET 'http://localhost:9200/test/_search?q=title:%E8%B2%A7%E4%B9%B3&pretty'
(再び、えろえろわーどなので自粛)

ちゃんと見れた。

結果としては

MongoDB River Plugin for ElasticSearch 2.0.0で対応できているのは、

  • Elasticsearch 1.1.1
  • MongoDB 2.4.10

のバージョンまでということみたい。

追記:このバージョンで一見動きますが、安定動作はしないです。詳しくは別記事で

Node.jsから使う

疲れたので、次回