読者です 読者をやめる 読者になる 読者になる

Fluentd meetup 2 に行ってきた #fluentd

技術 tech

行ってきました。
Fluentd meetup in Japan #2 #fluentd on Zusaar
#Fluentd meetup in Japan # 2 - Togetter

全セッション濃かったうえに、QAの充実っぷりが凄かったです。(ディスプレイの接続問題で結構時間があって、ちょいちょいQAタイムがあった。しかもwindowsがつながらないという。。時代ですね〜。)
## QA内容ははまとめて古橋さんのセッションのメモ部分の最後に書いてあります。

自分はちょっと触ったことがあるくらいなので、正直、fluentdの何たるかがあんまりピンときてなくてなかったのですが、色んな角度から繰り出される質問に、古橋さんが「なるほどっ」と受けて、その後にずばっと繰り出される明瞭な回答や質問者とのやり取りを聞いているうちに、大分見え方が変わってきました。

「Fluentdの現在と未来」 古橋さん @frsyuki

  • アンケート結果
    • 7割がFluentd導入済み! (アンケートに答えた人)
    • そのうち4割がMongoDBへ入れてる。
  • 何でFluentdか?
    • ログの種類は色々 apache, アプリのログ。
    • よくある方法はログローテションしてrsyncとかscpとか。
    • 何が問題か?
      • パース処理が増えまくる。
      • 解析しづらい。human readableとmachine readable
      • ローテンションを待つ必要がある。それではシステム監視には使えない!
      • Fluentdにログを流すことで一括してログを扱える。
      • jsonでログを扱うのでmachineもhumanでも読める。
  • 他の製品と比較して
    • scribeは拡張できない。
    • flumeも使いづらい。テキストフォーマットだし。
  • 諸々のQAのまとめ
    • flumeがテキストベースなのはなぜ?
      • パースの処理は重く、ログを吐き出すサーバがやるべきではないという思想。
      • fluentdはログを吐き出す人と、使う人が違うんだから、パースはinput側でやるべきという考え方。
    • windows対応は?
      • cool.ioやめてthreadにする予定。windowsでも使えるようになる!
    • plugin のデバッグどうやる?
      • テストはあんまりイケてない。
      • fluentd cat して、 stdout に出せば、ちょっとした開発には問題ない。
      • v11でRSpec対応する予定。
    • どれくらいのパフォーマンスがでるのか?
      • 書き出しの最大値はCPUの周波数にけっこう左右される。1プロセスで動いているから。
      • でも。すでに8000qpsはいけてる! by @tagomorisさん
    • スケールした時のボトルネックは? @GedowFather さんの発表でトラフィックには影響されないとのことだったが?
      • flushの頻度やagent数に依存する? by @GedowFatherさん
      • ロックが問題っぽいので、flush間隔を長くすることで改善されるはずではあるが、しっかりと調べないと分からない。 by 古橋さん
    • UDPでの死活監視がおっつかなくなって、動いてるのに死んでる判定されてしまうことがある。
      • ver1.1で改善予定。TCPがつながってればOKにしちゃうみたいな。
      • プロトコルの分離も検討中
    • 標準のplug-in(in-tail)を継承してカスタマイズするのはマナー的にOK?

Logging infrastracture in Paas. 楽天の佐々木さん、ワリさん from Mexico

(公開されれば)資料を貼る予定 & deepだった&英語であんまり付いていけず。。

0829資料追加

Fluentdを優しく見守る監視事例 @GedowFather ドリコム

Fluentd や TreasureDataでこっそりはじめるログ集計 @mikea CROOZ

(公開されれば)資料を貼る予定 & 資料に全部書いてあった & めちゃ盛り上がった
途中でぼやけたスライドが出た時は、社内データで細かい所までは見せられないから
なのかなと思ったら、ネットワークの不調だったというw。
そして、最後はちっちゃい×だけが表示されたスライドwww。
資料公開が待ち遠しいです(笑)

0829追記
mikedaさんのブログと資料
Fluentd Meetup 2で話してきました - IT 東京 楽しいと思うこと

HBase本の紹介 玉川さん

MongoDB in Action、Hive Programming、等々、多数の本を翻訳予定。
今後、翻訳ができるかどうかは本の売れ行き次第なので、HBase本買うべし!

まとめ

想像していたより多くの人がガンガン使っていて、相当な出遅れ感を味わったので、興味を持ったら、もっと前のめりにいかんといかんな〜と感じた会でした。頑張ろう。まずはRubyを触るところから、、
主催者の皆様、GREEの皆様、ありがとうございました!


HBase

HBase


Software Design (ソフトウェア デザイン) 2012年 06月号 [雑誌]

Software Design (ソフトウェア デザイン) 2012年 06月号 [雑誌]