最近検索エンジン周りの検証をしていて、AWS OpenSearchと戯れていました。 余談ですが、昔ログ基盤としてElasticsearchをそこそこヘビーユースしていた時代もあったのですが、今回n年ぶりに触っていたら色々と忘れていたり進化していたりで触ってないと忘れ…
年末で、ちょうどアドベントカレンダーの枠があったので今年一年の活動を振り返っていこうと思う。 この記事はコネヒト Advent Calendar 2019 21日目の記事です。 2019年は結構自分の働き方が変わった一年でもあったので、下記2点を中心に書いていく。 機械…
3年半くらい振りの個人ブログ。年末でちょっと時間が出来たので今年一年をアウトプット中心に振り返ってみる。 こうして振り返ってみると登壇が多くリアルな外との接点が増えた一年だったなと思う。 また、内容からも2年前くらいまではガリガリオンプレを触…
ansibleよりChef派でしたが、エージェント要らなかったり気軽という評判を聞きつけて、今度リリース要件にはansibleがよさそうなのでとりあえず使ってみた。 環境 Mac上にVagrantでCent0S6.6を2台 ansibleサーバ:192.168.50.5 プロビジョン対象:192.168.50.6…
久々に面白いイベントだったので、メモを公開。 感想 メモったことそのままで長くなるので最初に感想だけ。 かなり釣り気味のタイトルでしたが、インフラエンジニアがいっぱいいて楽しいイベントでした。 トークしてた人たちが、有名とこの人達だったのでオ…
Elasticsearchを1.4にアップデートして、kibana3からアクセスしようとするとkibana3上で下記のようなエラーが出た。 Please ensure that Elasticsearch is reachable from your system サーバ上で、curlではアクセス出来るし、自分のマシンからelasticsearch…
プロダクション環境でElasticsearch+kibana(fluentd)でログ可視化運用をしてみてわかった事でElasticsearchのマッピングについて記事を書いたところ、下記のようなツッコミをいただいたので実際に試してみた。 @johtani ありがとうございます。試してみまし…
これは Elasticsearch Advent Calendar 2014 22日目の記事です。 今回は、プロダクション環境で、流行りのFluentd+Elasticsearch+Kibanaでログ可視化というのを数ヶ月やった中で苦労した点とかはまった点を書いてみます。 というか、書き終えて思うとこれか…
elasticsearchをローカル内で、別のマウントポイントに移動したいというシーンがあり、すごく簡単にデータ移動が行えたので一応メモとして備忘録基本的には、elasticsearchのサービスを停止し、データを旧dirから新dirにコピーし、/etc/sysconfig/elasticsea…
fluentd経由でmysqlにログつっこんで、レンジパーティション切ってパーティション毎にdropで楽な運用にと思ってたのに、デフォルトだとinnodbのデータはibdata1にすべて格納されると知らず、それが肥大化しすぎて圧縮不可と知ったので、物理ファイルをテーブ…
ElasticSearchにデータを突っ込んで、文字列の完全一致の件数を集計したいことがあった。 ElasticSearchは、自動で型変換する全文検索エンジンなので特に型指定をしないと、下記のようにトークナイザによって要素分割されて格納される。 今回のケースでは、…
chef soloのrecipeのテスト環境として、Vagrantを使うのがいいらしいと聞いたので、CentOS6.4の上に、Vagrantをインストールし、Vagrant上のマシンにローカルからIP指定でssh接続するまでの証跡を残しておこうと思う。 通常、 vagrant sshというコマンドを打…
SYSLOG(warn以上)を、NW機器からFluentdに収集してエラー検知に役立てようと 思っているが、全てメール通知したのではノイズが多く運用に耐えない。条件は、環境によりまちまちだが特定の条件を除外(出来る限りノイズを減らしたいという思い)し、 メール通知…
tmuxを入れると、マルチターミナル環境を手に入れられると聞いたので、早速インストール。 centOS6.3からだと、yumでは入らないようなので、ソースから。 簡単だが、ちょっとだけつまずいたのでメモ程度に。 まずは、tmuxに必要なライブラリをインストール #…
LinuxからWindowsの共有にアクセスしたいシチューエーションがあり、設定してみたのでメモ書き .mountのインストール# yum -y install mount.samba-clientのインストール# yum -y install samba-client.マウントポイントの作成# mkdir /win.cifs関連のモジュ…
Windwosがうまくブートしない場合の緊急復旧方法を検討すべくWindowsPEを使ってUSBブートに挑戦。今回は、WindowsPEを使いブートしないPCをUSBブート出来るようにブータブルUSBを作成してみるWAIKからWindowsPEをローカルに展開するまでの作業は下記のサイト…
LinuxやNW機器を安定運用するのに欠かせない情報syslogFacility,Severityの組み合わせで集約したりするけどすぐ忘れてしまうので第一号備忘録として、 ■Facility1 kern カーネルメッセージ2 user ユーザプログラムのメッセージ3 mail メールプログラム ( sen…
