Fluentd meetup 2 に行ってきた #fluentd
行ってきました。
Fluentd meetup in Japan #2 #fluentd on Zusaar
#Fluentd meetup in Japan # 2 - Togetter
全セッション濃かったうえに、QAの充実っぷりが凄かったです。(ディスプレイの接続問題で結構時間があって、ちょいちょいQAタイムがあった。しかもwindowsがつながらないという。。時代ですね〜。)
## QA内容ははまとめて古橋さんのセッションのメモ部分の最後に書いてあります。
自分はちょっと触ったことがあるくらいなので、正直、fluentdの何たるかがあんまりピンときてなくてなかったのですが、色んな角度から繰り出される質問に、古橋さんが「なるほどっ」と受けて、その後にずばっと繰り出される明瞭な回答や質問者とのやり取りを聞いているうちに、大分見え方が変わってきました。
「Fluentdの現在と未来」 古橋さん @frsyuki
- 近況
- CEDEC Awardsで優秀賞もらったよ!
- http://cedec.cesa.or.jp/2012/event/awards/nominate/NW.html
- アンケート結果
- 7割がFluentd導入済み! (アンケートに答えた人)
- そのうち4割がMongoDBへ入れてる。
- 何でログをとるのか?
- システムの監視
- アラートやエラー通知
- パフォーマンスのチェック
- ログ解析用
- ユーザーのセグメント分け
- Funnel Analysis. ユーザがどこの段階まで進んだのかを可視化
- 何でFluentdか?
- 他の製品と比較して
- scribeは拡張できない。
- flumeも使いづらい。テキストフォーマットだし。
- 利用実績
- slide share, context logic, naver, cookpad, NHN Japan etc...
- Who uses Fluentd in production? - Quora
- アンケート時、導入に向けての障壁で導入実績というのがありましたが、全く問題ないですよ!
- 次のFluentd(ver 0.11)
- 諸々のQAのまとめ
-
- flumeがテキストベースなのはなぜ?
- パースの処理は重く、ログを吐き出すサーバがやるべきではないという思想。
- fluentdはログを吐き出す人と、使う人が違うんだから、パースはinput側でやるべきという考え方。
- flumeがテキストベースなのはなぜ?
-
- windows対応は?
- cool.ioやめてthreadにする予定。windowsでも使えるようになる!
- windows対応は?
-
- どれくらいのパフォーマンスがでるのか?
- 書き出しの最大値はCPUの周波数にけっこう左右される。1プロセスで動いているから。
- でも。すでに8000qpsはいけてる! by @tagomorisさん
- どれくらいのパフォーマンスがでるのか?
-
- スケールした時のボトルネックは? @GedowFather さんの発表でトラフィックには影響されないとのことだったが?
- flushの頻度やagent数に依存する? by @GedowFatherさん
- ロックが問題っぽいので、flush間隔を長くすることで改善されるはずではあるが、しっかりと調べないと分からない。 by 古橋さん
- スケールした時のボトルネックは? @GedowFather さんの発表でトラフィックには影響されないとのことだったが?
-
- UDPでの死活監視がおっつかなくなって、動いてるのに死んでる判定されてしまうことがある。
- ver1.1で改善予定。TCPがつながってればOKにしちゃうみたいな。
- プロトコルの分離も検討中
- UDPでの死活監視がおっつかなくなって、動いてるのに死んでる判定されてしまうことがある。
-
- 標準のplug-in(in-tail)を継承してカスタマイズするのはマナー的にOK?
- むしろ、そこを意識して作ってあるので、どんどんやっちゃって良し。ドキュメントにも書いてる。
- Writing plugins — fluentd v0.10 documentation
- 標準のplug-in(in-tail)を継承してカスタマイズするのはマナー的にOK?
Logging infrastracture in Paas. 楽天の佐々木さん、ワリさん from Mexico
(公開されれば)資料を貼る予定 & deepだった&英語であんまり付いていけず。。
0829資料追加
Fluentdを優しく見守る監視事例 @GedowFather ドリコム
- @GedowFather さんのブログ
- Fluentd Meetup #2 発表資料 | 外道父の匠
- QAとかメモってたんですが、全部こっちに書いてあったので略。
- Fluentd Meetup #2 発表資料 | 外道父の匠
Fluentd や TreasureDataでこっそりはじめるログ集計 @mikea CROOZ
(公開されれば)資料を貼る予定 & 資料に全部書いてあった & めちゃ盛り上がった
途中でぼやけたスライドが出た時は、社内データで細かい所までは見せられないから
なのかなと思ったら、ネットワークの不調だったというw。
そして、最後はちっちゃい×だけが表示されたスライドwww。
資料公開が待ち遠しいです(笑)
0829追記
mikedaさんのブログと資料
Fluentd Meetup 2で話してきました - IT 東京 楽しいと思うこと
HBase本の紹介 玉川さん
MongoDB in Action、Hive Programming、等々、多数の本を翻訳予定。
今後、翻訳ができるかどうかは本の売れ行き次第なので、HBase本買うべし!
まとめ
想像していたより多くの人がガンガン使っていて、相当な出遅れ感を味わったので、興味を持ったら、もっと前のめりにいかんといかんな〜と感じた会でした。頑張ろう。まずはRubyを触るところから、、
主催者の皆様、GREEの皆様、ありがとうございました!
- 作者: Lars George,Sky株式会社玉川竜司
- 出版社/メーカー: オライリージャパン
- 発売日: 2012/07/25
- メディア: 大型本
- クリック: 5回
- この商品を含むブログ (3件) を見る
Software Design (ソフトウェア デザイン) 2012年 06月号 [雑誌]
- 出版社/メーカー: 技術評論社
- 発売日: 2012/05/18
- メディア: 雑誌
- 購入: 4人 クリック: 65回
- この商品を含むブログ (10件) を見る