BigQueryのテーブルをコマンドで作成&スキーマ変更する

embulkでtable作成オプションを有効にすれば、わざわざテーブルを作るコマンドを打つ必要すらないけど、とはいえbqコマンドでいろいろできたら楽。ということでテーブル作成と変更の手順をまとめた。

The server time zone value ‘Asia/Tokyo’ is unrecognized or represents more than one time zone.

embulkでmysqlへ接続しデータを抽出しようとした際、掲題のエラーが発生。その対処について。

BigQueryのunnest関数が便利

BigQueryの「大容量のデータを高速でスキャンできる」「従量課金の料金形態」という性質から、テーブル設計をはじめるとRDBMSといろいろ違いがでてくる。 今回は配列をカラムに格納する上で便利なunnest(アンネスト)関数を紹介。

OpenVASからの攻撃をnginxで防ぐ

脆弱性スキャンツールから攻撃されることが度々ある。Nginxでその攻撃を防ぐ。

メールを送れない環境で、受信するはずのメールを確認する

外へのメール送信が制限されている環境だと、メールを確認することができない。その環境で送信されるはずのメールを確認する。

redashのuserをgitで管理する

redashはデータベースに接続できるツールなのでuserの管理がとても重要になる。 最新のユーザー状態を維持するためgitで管理する環境を整備した

Linuxでのswap解放

はじめに気がついたらswapを喰っていることがある。その場合の対処について。

Failed to Connect to MySQL at localhost: 3306 through SSH tunnel

手元のPC/MacからリモートのサーバのDBに繋ぎたい事がある。 sshトンネリング機能がmysql workbenchに備わっているので、それを活用する。

CentOS 7/Amazon Linux 2 でtimezoneを変更する

一度設定したらほとんど変更しないタイムゾーン。 デフォルトでUTCになっていることもあり、JSTに変更したい事が多々ある。

GitLabでCLI経由でmerge requestを送る

GitLabでコマンドベースでmerge requestを作成する。 postでAPIを叩いていろいろ設定すればそれでも可能だけど、python-gitlabというpython製のツールがとても便利だったので紹介。