Fluentd meetup 2 に行ってきた #fluentd

行ってきました。
Fluentd meetup in Japan #2 #fluentd on Zusaar
#Fluentd meetup in Japan # 2 - Togetter

全セッション濃かったうえに、QAの充実っぷりが凄かったです。(ディスプレイの接続問題で結構時間があって、ちょいちょいQAタイムがあった。しかもwindowsがつながらないという。。時代ですね〜。)
## QA内容ははまとめて古橋さんのセッションのメモ部分の最後に書いてあります。

自分はちょっと触ったことがあるくらいなので、正直、fluentdの何たるかがあんまりピンときてなくてなかったのですが、色んな角度から繰り出される質問に、古橋さんが「なるほどっ」と受けて、その後にずばっと繰り出される明瞭な回答や質問者とのやり取りを聞いているうちに、大分見え方が変わってきました。

「Fluentdの現在と未来」古橋さん @frsyuki

Fluentd meetup #2 from Treasure Data, Inc.

近況
- CEDEC Awardsで優秀賞もらったよ！
- http://cedec.cesa.or.jp/2012/event/awards/nominate/NW.html

アンケート結果
- ７割がFluentd導入済み！ (アンケートに答えた人)
- そのうち４割がMongoDBへ入れてる。

何でログをとるのか？
- システムの監視
- アラートやエラー通知
- パフォーマンスのチェック
- ログ解析用
  - ユーザーのセグメント分け
  - Funnel Analysis. ユーザがどこの段階まで進んだのかを可視化
    - @doryokujinさんのブログ：Treasure Data Analytics 第8回〜Social Gaming Analytics Vol.2: チュートリアルにおけるファンネル分析〜 - doryokujin's blog

何でFluentdか？
- ログの種類は色々 apache, アプリのログ。
- よくある方法はログローテションしてrsyncとかscpとか。
- 何が問題か？
  - パース処理が増えまくる。
  - 解析しづらい。human readableとmachine readable
  - ローテンションを待つ必要がある。それではシステム監視には使えない！
  - Fluentdにログを流すことで一括してログを扱える。
  - jsonでログを扱うのでmachineもhumanでも読める。

他の製品と比較して
- scribeは拡張できない。
- flumeも使いづらい。テキストフォーマットだし。

利用実績
- slide share, context logic, naver, cookpad, NHN Japan etc...
- Who uses Fluentd in production? - Quora
- アンケート時、導入に向けての障壁で導入実績というのがありましたが、全く問題ないですよ！

次のFluentd(ver 0.11)
- 設定ファイルへの変更が色々。
- Message Packのver up。シリアライズのパフォーマンスが上がる。
- td-agent-lite
  - フロントサーバへのばらまき用
- 後方互換性は保持
- 詳細はgithub 見てね。
  - frsyuki/fluentd-v11 · GitHub
  - Fluentd v0.11 の設計案 — Gist

諸々のQAのまとめ

- flumeがテキストベースなのはなぜ？
  - パースの処理は重く、ログを吐き出すサーバがやるべきではないという思想。
  - fluentdはログを吐き出す人と、使う人が違うんだから、パースはinput側でやるべきという考え方。

- windows対応は？
  - cool.ioやめてthreadにする予定。windowsでも使えるようになる！

- plugin のデバッグどうやる？
  - テストはあんまりイケてない。
  - fluentd cat して、 stdout に出せば、ちょっとした開発には問題ない。
  - v11でRSpec対応する予定。

- どれくらいのパフォーマンスがでるのか？
  - 書き出しの最大値はCPUの周波数にけっこう左右される。1プロセスで動いているから。
  - でも。すでに8000qpsはいけてる！ by @tagomorisさん

- スケールした時のボトルネックは？ @GedowFather さんの発表でトラフィックには影響されないとのことだったが？
  - flushの頻度やagent数に依存する？ by @GedowFatherさん
  - ロックが問題っぽいので、flush間隔を長くすることで改善されるはずではあるが、しっかりと調べないと分からない。 by 古橋さん

- UDPでの死活監視がおっつかなくなって、動いてるのに死んでる判定されてしまうことがある。
  - ver1.1で改善予定。TCPがつながってればOKにしちゃうみたいな。
  - プロトコルの分離も検討中

- 標準のplug-in(in-tail)を継承してカスタマイズするのはマナー的にOK？
  - むしろ、そこを意識して作ってあるので、どんどんやっちゃって良し。ドキュメントにも書いてる。
  - Writing plugins — fluentd v0.10 documentation

Logging infrastracture in Paas. 楽天の佐々木さん、ワリさん from Mexico

(公開されれば)資料を貼る予定 & deepだった＆英語であんまり付いていけず。。

0829資料追加

Fluentd meetup logging infrastructure in paa s from Rakuten, Inc

Fluentdを優しく見守る監視事例 @GedowFather ドリコム

Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例 from 外道父

@GedowFather さんのブログ
- Fluentd Meetup #2 発表資料 | 外道父の匠
  - QAとかメモってたんですが、全部こっちに書いてあったので略。

Fluentd や TreasureDataでこっそりはじめるログ集計 @mikea CROOZ

(公開されれば)資料を貼る予定　&　資料に全部書いてあった　&　めちゃ盛り上がった
途中でぼやけたスライドが出た時は、社内データで細かい所までは見せられないから
なのかなと思ったら、ネットワークの不調だったというw。
そして、最後はちっちゃい×だけが表示されたスライドwww。
資料公開が待ち遠しいです(笑)

0829追記
mikedaさんのブログと資料
Fluentd Meetup 2で話してきました - IT 東京楽しいと思うこと

Fluentd meetup #2 from Tomohiro Ikeda