新しいことにはウェルカム

技術 | 電子工作 | ガジェット | ゲーム のメモ書き

Azure

Spark(Google Dataproc)からMicrosoft SQL Server(Azure SQL Database)にアクセスする方法

Spark(Google Dataproc)から、Microsoft SQL Server(Azure Database)にアクセスする方法です。 手順 Spark設定 下記のSparkの設定をすると、SparkからSQL Serverのデータの読み書きができるようになります。 MS SQL ServerのJDBCのjarファイルをダウンロ…

SQL Server でカレンダーテーブルを作る方法

SQL Server(Azure SQL Database)で、カレンダーテーブルが欲しかったので作成方法メモです。 ググったところ、「WITH」でテーブルを作成し、そのテーブル定義の中の「UNION ALL」から再帰呼び出しして作るようです。 WITH _calendar AS ( SELECT CAST(N'20…

Microsoft (Office365) Flow のデータの参照方法について整理する

Microsoft Flowは、基本型・配列・マップ(オブジェクト)などのデータ種類があるのですが、操作はGUIでラップされているため、どうすればデータから目的の要素の値にたどりつけるのかが、とても理解しづらいです。 値への参照方法を知っていれば簡潔に書け…

Microsoft (Office365) Flow でエラーをキャッチする方法

Microsoft Flowを普通に使っていると、途中で何かエラーが発生すると、そこでアクションが止まってしまいます。 例えば、SQL Serverからユーザーリストを取得し、そのユーザーに対してSlackを送るFlowがあったとします。 ユーザーリストにユーザーがある場合…

Azure Functions の初回起動が遅すぎて何だかなぁという話

Azure Functionsという、AWS LambdaのAzure版的なサービスがあります。 MS FlowからAzureを操作したいことがあり、MS FlowにAzure Functionsのコネクタがあるので、Azure FunctionsでAzureを操作するFunctionを書けば、サーバーレスでできるのではと試してみ…

Azure Data Factory のパイプラインにAzure Node SDKからパラメータを渡す方法

Azure Node SDKを使って、Azure Data Factoryのパイプラインにパラメータを指定して実行しようとしてハマことのメモ書きです。 Data Factoryのパイプライン実行は、「DataFactoryManagemantClinet」オブジェクトの「pipelines」メンバーの「createRun」メソ…