サナギわさわさ.json

サナギさんとキルミーベイベーとプログラミングが好きです

ElasticSearch

Elasticsearch実運用時の注意点とアンチパターンまとめ

Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキー…

ElasticSearchの良く使うcurlコマンドまとめ

ElasticSearchの良く使うcurlコマンドをまとめました。良かったら使ってください。 コマンドの詳細な説明は書いていませんが、キーワードで調べればすぐ分かるかと思います。 データ投入系 スキーマの登録 curl -XPOST http://localhost:9200/testindex -d @…

ElasticSearchのAggregationをJavaで書く

ElasticSearchには1.0.0からAggregationという機能が導入されました。SQLで言うSumやGroup Byを簡単に行える機能です。詳しくは公式サイト見てください。 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations.html Aggreg…

ElasticSearchのfield data cacheについて

ElasticSearchをしばらく運用してみて、いくつかノウハウがたまってきたので残しておきます。 Solrを使う事が多かったので最初は慣れなかったんですが、公式のドキュメントがSolrより充実しているしクエリがJsonベースで組みやすいので結構使いやすい気がし…

ElasticSearchのインデクシングを高速化する

諸事情でElasticSearchの事ばっかり書いてますが、Solrの方が好きです。 ElasticSearchのインデクシングを高速化するためにやった事を残しておきます。 基本的には↓に書いてあることばかりです。 Performance Considerations for Elasticsearch Indexing | E…

ElasticSearchでmlockall:trueが効かない時にチェックすること

ElasticSearchって日本語の情報少なくて辛いです。 今回はmlockall:trueの設定が効かなかった時のチェック項目を残しておきます。 mlockall:trueとは ElasticSearchは公式で「起動時にメモリを確保し、スワップしないようにする」という設定が推奨されていま…

ElasticSearchでビッグデータ集計を試みて困った点その1:Java APIで何回も接続に行っていたらNoNodeAvailableExceptionで落ちる

前にも書いたのですが、ElasticSearchはまだ日本語の情報が少なく、はまった時にやや面倒というのが私の所感です。ElasticSearchを使って1000万件ぐらいのデータの集計をしようと試みていくつか困った点があったので、日本語の情報が無さそうだった物だけ備…

CentOS7系へのElasticSearch導入手順

CentOS7系へのElasticSearch導入手順を残しておきます。 CentOS7系になってiptablesとか無くなってて、サナギさんが中学生だと知った時ぐらいびっくりしました。 インストールからsystemctl登録まで yum install java-1.7.0-openjdk* yum install wget wget …

ElasticSearchのデータ投入と削除の基本コマンドまとめ

オープンソースの全文検索エンジンといえばApache Solrだとずっと思っていたのですが、他にもElasticSearchというものがあって最近ではそちらが流行っているようです。 調べてみたら結構前から流行っていたようで今更知ったのは少し恥ずかしいのですが、キル…