mysqlのデータをembulkでBigQueryへ入れredashで確認する

はじめに

データ解析するにあたり、BigQueryを使いたい事がある。mysqlからデータを取得するところをembulkを使う。embulkのインストール方法から簡単な使い方までまとめた。

embulkのインストール

embulkはJavaで作られており、一からinstallしようとすると、割と面倒。今回はDockerを使うこととする。

BigQueryの設定

APIs & Servicesでcredentialを作成する。

jsonファイルダウンロードできるので、適宜保存する。

Dockerfileを作成

GCPにプロジェクトを作り、bigqueryに権限を付与。APIで操作できるようjsonファイルを取得する。

build

embulkの設定

今回はmysqlからデータを抜き、BigQueryに入れるとする。

実行

以下のようい表示されればOK

BigQueryで確認

データが入ったという事がわかった。
また、

#standardSQL

と書いてあるが、これはコメントではなく、BigQueryが判断する重要な宣言になるので削除するとうまく動かないので注意。

 

redashでBigQueryに接続

先ほど使ったjsonファイルと接続先のプロジェクトIDを入力すると、redashからbigqueryへ接続する事ができる。

 

 

Facebook Comments