Tech Tips

redash v8 のリポジトリを clone して コンテナを build しようとすると、` FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory `というエラーになった。原因と対処を紹介。

gcloud コマンドで key を取得しようとした際、The Application Default Credentials are not available.と出た時の対処法についてまとめます。

redash API で パラメータを動的に変えてクエリを受け付ける方法を紹介。 サードパーティを使わず行う。redash v6とする。

ECS のタスクスケジューリングで FailedInvocations が発生するのは、CloudWatch eventsでの実行ロールに権限が足りないから。その対処方法をまとめる。

embulk で環境変数を処理することができる .liquid について紹介。 これによって、docker image を複数環境で起動することができるようになった。

embulk をbuild しようとすると ` Unsupported major.minor version 52.0` というエラーが出るようになった。原因と対処について紹介。

シーケンス図などを作ろうとすると、GUIのツールを使わなければならない時代が長く続いたが、今はシーケンス図ですらコードで管理することができ、ブラウザで描写することが可能な時代になった。 残念ながら現時点で日本語されていないが、 `Web Sequence Diagrams`  というサービスが便利だったので紹介。

ER図などを自動生成してくれる SchemaSpy というツールがある。 このツールは接続先のDBを指定する事でそのDBサーバのスキーマ情報を読み取って解析してくれる作り。 しかし、各種環境のDBに接続させたくない場合は多い。手元にcreate table文などを盛り込んだDDL文の塊を用意する事で自動生成してくれるよう対応した。

`numpy`を使うと複雑な計算ができるようになるが、機会学習でよくつかう計算についてまとめた。

AWS SQSを使ったシステムを作る際、ローカル環境で手軽にSQSがいじれれば非常に便利だ。今回、Dockerを用いてSQS互換の環境を作った。 docker imageの作り方、localでの起動方法までまとめている。