Firestoreを軽量データベースとして使ってみる

GCP関連でプログラムを作っていて、ちょっとしたデータを保存したいことがありました。データベースを立てるほど大げさなデータでもないし、データ間で結合クエリを書くこともなさそうな単発のデータでした。そもそも、データベースを立てると、使っていな…

#Datastore #Firebase #Firestore #GCP #GCS #Google Cloud platform #Google Cloud Storage

2020-02-05

Dockerfileのタグでlatestは使っちゃいけないなぁと思った

AWS AWS S3 Alpine Amazon Web Service Docker Dockerfile ERROR GCP Google Cloud Platform Google Cloud SDK Google Cloud Storage S3 gsutil エラークラウド

定期的に、AWS S3のファイルを、Google Cloud Storageにコピーしています。コピーのやり方は色々あるのですが、ここではGoogle Cloud SDKのgsutilコマンドを使っていて、 Google Cloud SDKは、Alpine LinuxのDockerイメージを使用しています。しかし、ある…

2020-01-30

Google BigQueryのNode.js SDKで、Cloud Storageの複数のファイルをまとめてロードする方法

BigQuery GCP Google Cloud Platform Google Cloud Storage データ分析

Google BigQueryに、Google Cloud Storageのファイルをロードする時、複数のファイルをまとめてロードすることができます。しかし、それをGoogle BigQueryのNode.js SDKでやろうとしてハマったので、そのメモ書きです。概要および問題点 table.createLoadJ…

2020-01-30

Google Cloud Storageでファイルとディレクトリを区別する方法

AWS AWS S3 Amazon Web Service Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

Google Cloud Storageで、サブディレクトリ内のファイル一覧を取得して、それらのファイルの処理をしようとしました。しかし、ファイルがおかしいとエラーが出るので見てみたら、取得したファイル一覧に、サブディレクトリが含まれていました。原因前に勘…

2020-01-29

Google Cloud Storageのサブディレクトリ一覧をNode.jsで取得する方法

AWS S3 Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

以前、Google Cloud Storageのサブディレクトリ一覧を、GCP Pyhtonライブラリを使って取得したのですが、そのNode.jsバージョンです。 Pythonバージョンはこちら www.kwbtblog.com 手順 GCP Node.js SDKのドキュメントにサンプルがあるので親切ですね。 http…