Redash Meetup 3.0.0 まとめ

前回redashのMEETUPに参加ならびに登壇させていただき、非常に多くの学びがあった
第三回の勉強会を開催するという話しを聞き、さっそく参加させてもらった

前回は勉強会での情報の多さ、濃さを受け、今回はレポートとして残そうと思い、自分の関心のある視点をベースにまとめる事にした

Redash の API 活用事例 / 井上 竜輝氏

APIでできること

  • クエリの実行や結果の取得
  • グループやユーザ操作
  • アラート情報の取得
  • その他

API活用

各クエリの名前、内容、作成者を一括でJSON形式で取得可能
クエリ結果も取得可能JSON/CSV形式で取得可能

API認証や仕様はサンプルは少ないが、スプレッドシートやSlackBotへの投稿も触れている

redash/handlers/api.py を見るのが情報が多い

redash単体では、パラメータを変えた複数のクエリを取るのが苦手

ココラブル社では一括で取得し、Pythonで加工してExcelやSlackに送るようにして対応している

いつどのように変更したのか知りたい

redashのクエリをAPIで取得
取得したクエリ内容をファイルに書き出しGitで管理

redashmanというライブラリを使っている

みんなが Redash を気持ちよく使うやり方を考える / @o0h_氏

導入期

セットアップ。権限設定

サービスイン。ハンズオンをおこなった

アフターケアで、なんでも質問できるチャンネルをSlackに作った

redash導入後どうなったか

以下の問題が発生

SQLかける人に限られる

クエリ乱立問題。「こんなクエリないかな?」と思うたび活用されず、都度作ってしまう

どこにどのデータがあるのか知られていない

どのように解消をしたか

何人か集めて勉強会を開催

クエリをかける満足感を共有

複雑なクエリはできる人がサポート

Slackに相談できるチャンネルを作った

 

クエリ乱立問題においては、命名規則の設定

組織体に合致する形でクエリ・ダッシュボードにprefixを指定した

大カテゴリ・・・サービスや部署くらいの粒度

中カテゴリ・・・部署以下の領域=グループくらいの粒度

そもそもなぜredash?

  • データに自由にアクセスできる
  • 自分でデータをひきだせる

 

理想の状態

高度なクエリも助けを借りながら実行できる状態

必要なデータは「誰かが書いている」状態

データからアイディアを得られる状態

Hidden gems in Redash / @ariarijp 氏

Qeury Results Data Ource

今後はクエリ付きのデータが実行できるようになるか、redashフォーラムで検討されている

Python Data Source

Pythonのスクリプトをデータソースとして使える

URL Data Source

HTTPのエンドポイントをデータソースとして使える

HTTPのgetしか対応していない

Script Data Source

スクリプトをデータソースとして使える。標準出力にJSONを出力できれば、データソースとして使える。

redash イベントカレンダー2017に記載がある

 

Extending Redash

query runnerを自分で実装することができる。

https://qiita.com/advent-calendar/2017/redash

redashの中でどのようにクエリが実行されるか知っている必要がある

事業成長に伴う Redash の使い方の変化(仮) / 大久保 晋之介 氏

導入背景

フルスクラッチのタイミングで、管理画面の代わりを探していた

売り上げやDAUなどのサービスを確認していた

使い方

クエリ増殖期

オーソドックスな使い方。グラフ、ダッシュボード。クエリの保存。APIを使ってSlackへ

クエリに命名ルールを決めて解決した。BIチームのLGTMがあれば「公式マーク」をつけるなど

命名ルールの運用はしばらくは運用に乗ったが途中で廃れた

厳密に運用するならメタデータを使い自動的に命名をチェックする仕組みを併用した方が良い

公式・非公式を分けるだけなら Publish/Unpublish を使うだけでよかった

 

人によってグラフで使う色が違い、混乱を招いた。

配色ルールを決めた。男性のデータは青。女性のデータは赤。

 

BigQuery課金額が上昇した。クエリ実行時のルールを決めた。”select *”禁止など。

守るメリットが大きいルールほど、守られやすい

API多用期

VisualizeはGoogle スプレッドシートへ

グラフをコピーしずらい。トレンドラインが見えにくい。スプレッドシートで関数を使いたかった

定期実行クエリを多用。定期実行したクエリの実行結果をAPIで取得して対応する分析が増加

クエリが重い

メタデータを使い、実行に時間がかかっているクエリをリストアップ

クエリのチューニングさせる。

遅いクエリをタイムアウトさせる。REDASH_ADHOC_QUERY_TIME_LIMITの設定

 

原因

クエリの同時実行数に対し、キューの数が少ないのが問題。

supervisord.confでの設定でキューの数を増やす

クエリの定期実行時間が重ならないようにならす

後回しでいいクエリはキャンセル

 

サーバの性能アップ

クエリがキューに詰まる件については特効薬はない。

Tableau併用期

分析ニーズ多様化のため、RedashとTableauを併用

redashではさばきにくいデータをTableauにまわしている。

redash … Tableauにない機能を

Tableau … 主要KPIを様々なデータ。深堀り分析

 


以上。非常に濃厚で、学びのある会でした。

企画していただいた @Arita さんありがとうございました!

Facebook Comments