oshiro
2017-03-22LINE Engineer
はじめに
こんにちは、LINE Fukuokaデータ分析チームのoshiroです。
今回は2/23に福岡で行われました「LINE Developer Meetup in Fukuoka #17」に関して、参加レポートをお送りします。
セッション
1.ご家庭でできる！データ分析を支えるクローリング環境の構築 / yuta hongo
LINE Fukuokaでデータエンジニアをされているhongoさんのセッション。データ分析を始めるにあたって必ず問題になるのがデータ収集です。そのデータ収集を各種ライブラリを使って手軽に実現する、Webクローラの構築方法についての発表でした。
データ分析を支えるクローリング環境の構築
データ分析を支えるクローリング環境の構築 from LINE Corporation
発表前半では、まずクローリングとスクレイピングの用語についての区別、クローリングの取得元についての分類、クロールを行う際の注意点など、基礎的な部分から説明されていました。
また個人的には小規模なクローラであればクロール時に都度スクレイピング処理を入れても良いのでは、と
