GCP

CloudStorageへAPI経由でファイルをuploadする

Google Cloud StorageへAPI経由でファイルをuploadする。 Introduction to APIs in Google を受講して、基本的な使い方を覚えたのでメモを残す

Kubernetesでスケールアップ・ローリングアップデートを行う

Kubernetesはバズワードになりつつあるが、スケールアップ・ローリングアップデートを含む運用のノウハウはまだまだそれほど多くないのでまとめる。

GAE(Google App Engine)を試した

GAE(Google App Engine)を使い始めたので、一度ここで整理をした。

Google App Engineをコマンドで起動停止する

コマンドでGoogle App Engineを停止する。 

Cloud Storageをコマンドで操作する

はじめにawsであればファイル置き場にS3を使うことも多いだろう。s3への転送したい場合はaws s3 cpコマンドを使うことが多い。似たようなことをGCPでCloud Storageに対して行いたいことがある。コマンドローカルからファイルをコピーする場合gsutilコマンドを利用する

BigQueryにbqコマンドでテーブル作成・スキーマ変更する

BigQueryにbqコマンドでテーブル作成・データ投入・スキーマ変更する。 ネストされたデータも扱いたいので、今回はjsonファイルを読み込むようにする

embulkでBigQueryの分割テーブル(partitioned table)へデータ投入

BigQueryでクエリスキャンを行うと、いくらwhereで絞ったとしてもテーブル内の指定したカラムは全行読み、それに応じて課金される。BigQueryに分割テーブル(partitioned table)を作成することにより、時間や日付を絞り膨大なスキャンならびに課金を限定的にすることが可能だ。

BigQueryでテーブルまたぎのSelectについて

BigQueryではFROMに複数のテーブルを指定することができるのでその方法を紹介

BigQueryのunnest関数が便利

BigQueryの「大容量のデータを高速でスキャンできる」「従量課金の料金形態」という性質から、テーブル設計をはじめるとRDBMSといろいろ違いがでてくる。 今回は配列をカラムに格納する上で便利なunnest(アンネスト)関数を紹介。