新しいことにはウェルカム

技術 | 電子工作 | ガジェット | ゲーム のメモ書き

puppeteer

Puppeteerのクローリングで、Tableタグの表のデータをCSV出力する方法

クローラーとしてPuppeteerを使っています。 クロールしていて、サイトのTableタグで作られた表のデータを取得したい時があります。 Pythonなら、htmlからTableタグ以下のみを抽出し、それからPandasを使ってDataFrameを生成することにより、エレガントにで…

RaspberryPiでpuppeteerを動かす方法

RaspberryPiでpuppeteerを動かそうとするとbrowser is not definedとエラーになる時の対処方法です。 原因 npmで「puppeteer」をインストールすると、新たにChromiumもnode_modulesにインストールされ、puppeteerはデフォルトではこのChromium使います。 し…

ラズベリーパイでDockerを使うのをやめた話

ラズベリーパイ単体でDockerを使う分にはいいのですが、ラズベリーパイをミニサーバー代わりにして、そこでDockerを使うのは使い勝手が良くないなぁという話です。 きっかけ 定期的にクロールを実行するサーバーを、デスクトップPCで動かしていました。 追々…