プロダクション環境でElasticsearch+kibana(fluentd)でログ可視化運用をしてみてわかった事でElasticsearchのマッピングについて記事を書いたところ、下記のようなツッコミをいただいたので実際に試してみた。 @johtani ありがとうございます。試してみまし…

これは Elasticsearch Advent Calendar 2014 22日目の記事です。 今回は、プロダクション環境で、流行りのFluentd+Elasticsearch+Kibanaでログ可視化というのを数ヶ月やった中で苦労した点とかはまった点を書いてみます。 というか、書き終えて思うとこれか…

elasticsearchをローカル内で、別のマウントポイントに移動したいというシーンがあり、すごく簡単にデータ移動が行えたので一応メモとして備忘録基本的には、elasticsearchのサービスを停止し、データを旧dirから新dirにコピーし、/etc/sysconfig/elasticsea…

fluentd経由でmysqlにログつっこんで、レンジパーティション切ってパーティション毎にdropで楽な運用にと思ってたのに、デフォルトだとinnodbのデータはibdata1にすべて格納されると知らず、それが肥大化しすぎて圧縮不可と知ったので、物理ファイルをテーブ…

ElasticSearchにデータを突っ込んで、文字列の完全一致の件数を集計したいことがあった。 ElasticSearchは、自動で型変換する全文検索エンジンなので特に型指定をしないと、下記のようにトークナイザによって要素分割されて格納される。 今回のケースでは、…

chef soloのrecipeのテスト環境として、Vagrantを使うのがいいらしいと聞いたので、CentOS6.4の上に、Vagrantをインストールし、Vagrant上のマシンにローカルからIP指定でssh接続するまでの証跡を残しておこうと思う。 通常、 vagrant sshというコマンドを打…

SYSLOG(warn以上)を、NW機器からFluentdに収集してエラー検知に役立てようと 思っているが、全てメール通知したのではノイズが多く運用に耐えない。条件は、環境によりまちまちだが特定の条件を除外(出来る限りノイズを減らしたいという思い)し、 メール通知…