tech

FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed – JavaScript heap out of memory

redash v8 のリポジトリを clone して コンテナを build しようとすると、` FATAL ERROR: Ineffective mark-compacts near heap limit Allocation failed - JavaScript heap out of memory `というエラーになった。原因と対処を紹介。

ERROR: (gcloud.auth.application-default.print-access-token) The Application Default Credentials are not available.

gcloud コマンドで key を取得しようとした際、The Application Default Credentials are not available.と出た時の対処法についてまとめます。

redash API で パラメータを動的に変えてクエリを受け付ける

redash API で パラメータを動的に変えてクエリを受け付ける方法を紹介。 サードパーティを使わず行う。redash v6とする。

ECS Scheduling tasks の FailedInvocations を対処する

ECS のタスクスケジューリングで FailedInvocations が発生するのは、CloudWatch eventsでの実行ロールに権限が足りないから。その対処方法をまとめる。

embulk に環境変数で接続情報を渡す

embulk で環境変数を処理することができる .liquid について紹介。 これによって、docker image を複数環境で起動することができるようになった。

org/embulk/cli/Main : Unsupported major.minor version 52.0

embulk をbuild しようとすると ` Unsupported major.minor version 52.0` というエラーが出るようになった。原因と対処について紹介。

シーケンス図をブラウザだけで書く

シーケンス図などを作ろうとすると、GUIのツールを使わなければならない時代が長く続いたが、今はシーケンス図ですらコードで管理することができ、ブラウザで描写することが可能な時代になった。 残念ながら現時点で日本語されていないが、 `Web Sequence Diagrams`  というサービスが便利だったので紹介。

SchemaSpy で SQLファイル からスキーマ情報を出せるようにした

ER図などを自動生成してくれる SchemaSpy というツールがある。 このツールは接続先のDBを指定する事でそのDBサーバのスキーマ情報を読み取って解析してくれる作り。 しかし、各種環境のDBに接続させたくない場合は多い。手元にcreate table文などを盛り込んだDDL文の塊を用意する事で自動生成してくれるよう対応した。

Numpy

`numpy`を使うと複雑な計算ができるようになるが、機会学習でよくつかう計算についてまとめた。

AWS SQS互換アプリを使ってDockerで検証する

AWS SQSを使ったシステムを作る際、ローカル環境で手軽にSQSがいじれれば非常に便利だ。今回、Dockerを用いてSQS互換の環境を作った。 docker imageの作り方、localでの起動方法までまとめている。