Dockerfileのタグでlatestは使っちゃいけないなぁと思った

定期的に、AWS S3のファイルを、Google Cloud Storageにコピーしています。コピーのやり方は色々あるのですが、ここではGoogle Cloud SDKのgsutilコマンドを使っていて、 Google Cloud SDKは、Alpine LinuxのDockerイメージを使用しています。しかし、ある…

2020-01-30

Google Cloud Storageでファイルとディレクトリを区別する方法

AWS AWS S3 Amazon Web Service Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

Google Cloud Storageで、サブディレクトリ内のファイル一覧を取得して、それらのファイルの処理をしようとしました。しかし、ファイルがおかしいとエラーが出るので見てみたら、取得したファイル一覧に、サブディレクトリが含まれていました。原因前に勘…

2020-01-29

Google Cloud Storageのサブディレクトリ一覧をNode.jsで取得する方法

AWS S3 Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

以前、Google Cloud Storageのサブディレクトリ一覧を、GCP Pyhtonライブラリを使って取得したのですが、そのNode.jsバージョンです。 Pythonバージョンはこちら www.kwbtblog.com 手順 GCP Node.js SDKのドキュメントにサンプルがあるので親切ですね。 http…

2019-07-27

Spark（Google Dataproc）からAWS S3にアクセスする方法

AWS AWS S3 Amazon Web Service Dataproc GCP Google Cloud Platform Hadoop PySpark Python Spark データ分析

Spark（Google Dataproc）から、AWS S3にアクセスする方法です。手順 Spark設定下記のSpark・Haddopの設定をすると、SparkからAWS S3ファイルの読み書きができるようになります。 Sparkに下記AWS関連のjarファイルを読み込みます aws-java-sdk-bundle-xxxx…