Dockerfileのタグでlatestは使っちゃいけないなぁと思った

定期的に、AWS S3のファイルを、Google Cloud Storageにコピーしています。コピーのやり方は色々あるのですが、ここではGoogle Cloud SDKのgsutilコマンドを使っていて、 Google Cloud SDKは、Alpine LinuxのDockerイメージを使用しています。しかし、ある…

2020-01-30

Google BigQueryのNode.js SDKで、Cloud Storageの複数のファイルをまとめてロードする方法

BigQuery GCP Google Cloud Platform Google Cloud Storage データ分析

Google BigQueryに、Google Cloud Storageのファイルをロードする時、複数のファイルをまとめてロードすることができます。しかし、それをGoogle BigQueryのNode.js SDKでやろうとしてハマったので、そのメモ書きです。概要および問題点 table.createLoadJ…

2020-01-30

Google Cloud Storageでファイルとディレクトリを区別する方法

AWS AWS S3 Amazon Web Service Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

Google Cloud Storageで、サブディレクトリ内のファイル一覧を取得して、それらのファイルの処理をしようとしました。しかし、ファイルがおかしいとエラーが出るので見てみたら、取得したファイル一覧に、サブディレクトリが含まれていました。原因前に勘…

2020-01-29

Google Cloud Storageのサブディレクトリ一覧をNode.jsで取得する方法

AWS S3 Azure Azure Blob Storage GCP Google Cloud Platform Google Cloud Storage JavaScript Node.js S3 TypeScript

以前、Google Cloud Storageのサブディレクトリ一覧を、GCP Pyhtonライブラリを使って取得したのですが、そのNode.jsバージョンです。 Pythonバージョンはこちら www.kwbtblog.com 手順 GCP Node.js SDKのドキュメントにサンプルがあるので親切ですね。 http…

2020-01-28

TwitterのSearch APIの使い方で混乱したのでまとめてみる

Search API Twitter Twitter API クラウドデータ分析引用リツイート検索検索

Twitter APIを使ってデータ収集する機会がありました。 Twitter APIには、Googleの検索のように、ツイートを検索するSearch APIがあって、今回それを使いました。普段Twitterは、主にリーダーとして利用していたので、あまり機能を意識することは無かったの…

2020-01-22

Linuxでアンダーバーが入力できなくなった

Chrome Linux Ubuntu xmodmap アンダーバーキー割り当てバックスラッシュ日本語キーボード日本語入力

追記 Chromeの更新通知が来たので、期待しながら更新すると、アンダーバーの入力ができるように治ってました！元記事は残しておきます。以下元記事です。 Linux（Ubuntu）とWindowsを使っているのですが、キーボード・マウス・モニターを切り替えるのが面倒…

2020-01-20

JavaScriptで、Excelで出力した、改行・カンマ付きCSVファイルを読み込む方法

BOM CSV Excel JavaScript SheetJS TypeScript UTF-8 エクセル

CSVファイルの読み込みは、今までSheetJSを使っていました。しかし、どうしても文字化けしてうまく読み込めないCSVファイルがあったので、他のライブラリを試してみることにしました。 npmで「csv」で検索すると一番上に出てくる、その名も「csv」というラ…

2019-12-26

Twitter APIでデータ収集してみる

API JavaScript Twitter Twitter API Twitterアプリ TypeScript クラウドデータ分析

世の中の動向を知るのに使えないかと、Twitterのデータを、Twitter APIを使って取得してみました。結論から言うと、Twitter APIの制限がキツイと噂には聞いていましたが、本当にキツ過ぎて使い物になりませんでした…。 Twitter APIでデータを取得するところ…

2019-12-21

格安SIMに変えて、半年ほど使ってみた感想

MNP SoftBank UQmobile UQモバイル au docomo ガジェットソフトバンクドコモ格安SIM 格安スマホ雑記

大手キャリアでiPhoneを使っていました。 7Gのプランでしたが7G超えることはなく、毎月の請求は1万円弱くらいでした。何となく高いなぁとは思っていましたが、キャリアやプラン変更は面倒くさくてそのまま使い続けていました。しかしその後、色々家計を見…

2019-11-21

Tableauの書式設定について、Excelっぽいグラフ・表が描ける程度に整理する

BIツール Excel Tableau Tableau Cloud Tableau Online Tableau Server エクセルタブローデータ分析書式設定

Tableauのデフォルトのグラフは結構綺麗です。実務用途で使う分にはデフォルトを少しいじる程度で十分なのですが、資料用のグラフの場合、資料に合わせて色々見た目を変えたくなります。しかし、Tableauの書式設定は結構難しく、せっかくTableauでグラフを…

2019-11-13

クラウドを利用するということは、常時メンテコストが発生するということ

AWS Amazon Web Service Azure GCP Google Cloud Functions Google Cloud Platform クラウドマイクロサービス

Google Cloud Platformからメールが来ていました。 Gooble Cloud Functionsで、当初作ったFunctionのNode.jsのバージョンが6だったのですが、今回バージョン6のサービスが終わるので、そのバージョンアップ要請のメールでした。薄々意識はしていたのですが…

2019-10-22

Microsoft Graph (Office365) API のトークンを取得して更新する方法

Active Directory Azure AzureAD JavaScript MS Graph Microsoft Graph API OAuth2.0 Office365 OpenID Connect Passport.js TypeScript simple-oauth2

Web版のOffice365を操作する方法の１つに、Microsoft Graph (Office365) APIというものがあります。例えば、Microsoft Graph (Office365) APIを使えば、Office365の外部から OutLookからメール送信 Excel Onlineのファイル編集 SharePointのファイル取得な…

2019-10-11

SQL Server（Azure SQL Database）に読み取り専用ユーザーを追加する方法

Azure Azure SQL Database MSSQL SQL SQL Database SQL Server データ分析

SQL Serverのデータを、BIツールで読み込んでグラフを作ったりしています。その場合、データは読み取りしかしないし、色んな人がグラフを作るので、書き込み権限を持ったユーザーは使いたくなく、共有用に読み取り専用ユーザーを作成しました。今回、SQL S…

2019-10-10

Azure SQL Databaseで、データベースをまたいだクエリは書かない方がいい

Azire SQL Database Azure MSSQL SQL SQL Database SQL Server データ分析

SQL Serverを使うのは、Azure SQL Databaseが初めてだったので知らなかったのですが、SQL Serverでは、データベースをまたいだクエリは、下記のように、データベースを指定することによって簡単に書けます。 SELECT * FROM [<db_name>].dbo.test_table しかし、Azure </db_name>…