TwitterのSearch APIの使い方で混乱したのでまとめてみる

Twitter APIを使ってデータ収集する機会がありました。 Twitter APIには、Googleの検索のように、ツイートを検索するSearch APIがあって、今回それを使いました。普段Twitterは、主にリーダーとして利用していたので、あまり機能を意識することは無かったの…

2019-12-26

Twitter APIでデータ収集してみる

Twitter Twitter API API JavaScript TypeScript データ分析 Twitterアプリ

世の中の動向を知るのに使えないかと、Twitterのデータを、Twitter APIを使って取得してみました。結論から言うと、Twitter APIの制限がキツイと噂には聞いていましたが、本当にキツ過ぎて使い物になりませんでした…。 Twitter APIでデータを取得するところ…

2019-11-21

Tableauの書式設定について、Excelっぽいグラフ・表が描ける程度に整理する

Tableau Excel エクセル書式設定データ分析 BIツールタブロー

Tableauのデフォルトのグラフは結構綺麗です。実務用途で使う分にはデフォルトを少しいじる程度で十分なのですが、資料用のグラフの場合、資料に合わせて色々見た目を変えたくなります。しかし、Tableauの書式設定は結構難しく、せっかくTableauでグラフを…

2019-09-20

Tableau のダッシュボードで、簡単にグラフをグリッド配置する方法

Tableau データ分析 BI BIツール

Tableauのダッシュボードでのグラフ配置は、なかなか思った通りのレイアウトにならなくて難しいです。原因は、オブジェクトをマウスでドロップや移動しても、意図した階層に入ってくれないのと、１つのオブジェクトのサイズや位置を変更すると、他のオブジ…

2019-09-13

SQL Server で月・週ごとに集計する方法

SQL Server SQL Database SQL Azure データ分析 DATE_TRUNC

データを月・週ごとに集計するには、まず日付の月・週の頭の日付を求め、その頭の日付でGROUPします。 Google BigQueryなど、頭の日付取得にDATE_TRUNC()関数が使える場合は、下記のような感じで集計できます。 SELECT DATE_TRUNC(dt, MONTH) AS dt_month ,S…

2019-08-27

SQLでグループの最後のレコードを取得する方法

SQL データ分析 SQL Server SQL Database BigQuery 分析関数ウィンドウ関数

「ユーザーのイベントログで、ユーザーが一番最後に行ったイベントを抽出する」など、グループで分けたデータの最後のレコードを取得したい時があります。ウィンドウ関数を使うと、下記のような形で求めることができます。 WITH tbl AS ( SELECT * ,ROW_NU…

2019-08-06

Sparkのよく使うコードメモ

Spark PySpark Python データ分析 DataFrame

SparkはPythonプログラムなので、かなり自由に書くことができます。しかし、いつも大体やることは決まっているし、色んな書き方を知っても、かえって記憶に残りづらくなってしまうので、Sparkの個人的によく使うコードを、１目的１コードの形にまとめておき…

2019-07-27

Spark（Google Dataproc）からAWS S3にアクセスする方法

Spark Dataproc Google Cloud Platform GCP AWS S3 AWS Amazon Web Service Python PySpark データ分析 Hadoop

Spark（Google Dataproc）から、AWS S3にアクセスする方法です。手順 Spark設定下記のSpark・Haddopの設定をすると、SparkからAWS S3ファイルの読み書きができるようになります。 Sparkに下記AWS関連のjarファイルを読み込みます aws-java-sdk-bundle-xxxx…

2019-07-27

Spark（Google Dataproc）からMicrosoft SQL Server（Azure SQL Database）にアクセスする方法

Spark Dataproc Google Cloud Platform GCP Microsoft SQL Server Azure SQL Database Azure Python PySpark JDBC データ分析

Spark（Google Dataproc）から、Microsoft SQL Server（Azure Database）にアクセスする方法です。手順 Spark設定下記のSparkの設定をすると、SparkからSQL Serverのデータの読み書きができるようになります。 MS SQL ServerのJDBCのjarファイルをダウンロ…

2019-07-27

Spark（Google Dataproc）からMySQLにアクセスする方法

Spark Dataproc Google Cloud Platform GCP MySQL データ分析 JDBC Python PySpark

Spark（Google Dataproc）から、MySQLにアクセスする方法です。 JDBCを使ってアクセスするので、PostgreSQL等、他のRDBにも応用可能です。手順 Spark設定下記のSparkの設定をすると、SparkからMySQLのデータの読み書きができるようになります。 MySQLのJDB…