Dockerfileのタグでlatestは使っちゃいけないなぁと思った

定期的に、AWS S3のファイルを、Google Cloud Storageにコピーしています。コピーのやり方は色々あるのですが、ここではGoogle Cloud SDKのgsutilコマンドを使っていて、 Google Cloud SDKは、Alpine LinuxのDockerイメージを使用しています。しかし、ある…

2020-01-30

Google Cloud Storageでファイルとディレクトリを区別する方法

AWS AWS S3 Amazon Web Service Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

Google Cloud Storageで、サブディレクトリ内のファイル一覧を取得して、それらのファイルの処理をしようとしました。しかし、ファイルがおかしいとエラーが出るので見てみたら、取得したファイル一覧に、サブディレクトリが含まれていました。原因前に勘…

2020-01-29

Google Cloud Storageのサブディレクトリ一覧をNode.jsで取得する方法

AWS S3 Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

以前、Google Cloud Storageのサブディレクトリ一覧を、GCP Pyhtonライブラリを使って取得したのですが、そのNode.jsバージョンです。 Pythonバージョンはこちら www.kwbtblog.com 手順 GCP Node.js SDKのドキュメントにサンプルがあるので親切ですね。 http…

2019-02-11

AWS Redshift Spectrum / Athena を使った感想

AWS Amazon Web Service Athena BigQuery Redshift Spectrum S3 データ分析

元々AWS Redshiftを使っていたのですが、結構お高く、Google BigQueryに乗り換えました。その後、Redshift Spectrum が出て、ひょっとしたらBigQueryよりいいのではと気になっていたので触ってみた感想です。また、Redshift Spectrumが使えるようセットア…

2018-12-27

AWS アカウントをまたいでS3ファイルにアクセスできるようにする方法

AWS Amazon Web Service S3

あるアカウントから、他のアカウントのS3ファイルを取得したい時があります。そんな時は、そのS3ファイルをダウンロードできる専用のユーザーを作成して、そのユーザーでダウンロードするのが手っ取り早いですが、取得先S3へのアクセス権限を、取得元アカウ…

2018-12-14

AWS S3でディレクトリ一覧をJSONで取得する方法

AWS Amazon Web Service S3

下記のようなディレクトリ構造において、バケット直下や、「dir_A1/dir_B1」直下のディレクトリ一覧をJSONで取得する方法。 s3://bucket_1/ dir_A1/ dir_B1/ dir_C1/ dir_C2/ dir_C3/ dir_A2/ dir_A3/ バケット直下の場合 $ aws s3api list-object-v2 --buck…