はじめに
こんにちは、LINE Fukuokaデータ分析チームのoshiroです。
今回は2/23に福岡で行われました「LINE Developer Meetup in Fukuoka #17」に関して、参加レポートをお送りします。
セッション
1.ご家庭でできる！データ分析を支えるクローリング環境の構築 / yuta hongo
LINE Fukuokaでデータエンジニアをされているhongoさんのセッション。データ分析を始めるにあたって必ず問題になるのがデータ収集です。そのデータ収集を各種ライブラリを使って手軽に実現する、Webクローラの構築方法についての発表でした。
- データ分析を支えるクローリング環境の構築
発表前半では、まずクローリングとスクレイピングの用語についての区別、クローリングの取得元についての分類、クロールを行う際の注意点など、基礎的な部分から説明されていました。
また個人的には小規模なクローラであればクロール時に都度スクレイピング処理を入れても良いのでは、と考えていたのですがhongoさんはクローラとスクレイパーの分離を推奨しており
・スクレイピングに失敗してもクロールし直す必要がない
・クローラとスクレイパーをそれぞれスケールすることができる
という点をメリットとして挙げられていました。
発表中盤では、メインのツールとしてPythonのスクレイピング用フレームワーク、Scrapyを使った内容で、その場のライブコーディングでクローリングとスクレイピングを実演されていました。
hongoさん曰く、Scrapyに慣れるまでの学習コストは高めとのことでしたが、実演では10分程度でスクレイピングまで完了しており、慣れれば手軽に使える印象を受けました。また実装の早さだけでなく、リトライ処理や分散処理はScrapyが担当してくれるため、安定した運用の観点からもオススメだそうです。
最後に、クローリングテクニックと題していくつかのTipsについての説明をされていました。詳細はスライドを参照していただければと思いますが、例えばGoogleのcacheを利用する、というのはクロール先のサービスへのアクセス負荷が軽減できる、良いアイディアだなと思いました。
2.リアルタイム画風変換とその未来 / tkengo
LINE Fukuokaデータ分析チーム所属のtkengoさんのセッション。こちらはLINE Fukuokaのハッカソンで実装したリアルタイム画像変換についての発表でした。
- リアルタイム画風変換とその未来
なおこちらの技術的な内容は過去のLINE Engineering Blogでも紹介されていますので、概要と感想中心にご紹介いたします。
tkengoさん自身は普段は分析がメインの業務のため、業務としては画像変換のサービスには関わっていないものの、ハッカソンの機会を活用して「普段業務でできないことをやろう」というモチベーションからリアルタイム画像変換にチャレンジしたそうです。
また何事もプロトタイプの開発は一度ではうまくいかないものですが、こちらの発表でもトライアンドエラーの連続、という内容でした。
特にリアルタイムの画像変換の場合、データの量と計算速度の2点がトレードオフとなったようです。当初はAndroid端末上で完結させる想定で作ったアプリケーションが、実装してみると画像変換処理に数十秒かかってしまったため、最終的には構成を変えてRTMPプロトコルでデータの転送を行い、Cでフィルタを書き、FFmpegやTensorFlowを使ってサーバー上で処理をする、という方式でこの問題を解決されたようです。
感想としましては(正直途中の画像変換ロジック周りは理解が追いついていないのですが・・)新たな技術を試してみたい、またそのためにハッカソンという機会を有効活用しよう、という情熱を感じるセッションでした。
また余談ですが、動画の配信とリアルタイム処理に関連して、弊社のサービスでLINE LIVEという動画配信サービスがあります。こちらはサービスとしてデータ量と計算速度の課題にチャレンジしているため、アーキテクチャなど、色々とノウハウを持っているのではないかなと思いました。
参考まで、LINE LIVEのアーキテクチャに関するスライド
3.懇親会& LT大会
各発表が終わった後は、ビール片手に参加者の皆さんとの懇親会でした。 社員や一般の方の飛び入りLT大会もあり、活気のある懇親会となっていました。
また私自身、懇親会で参加者の何名かにお話をお伺いしたのですが、「データ分析を始めたいが、手元にデータが無いのでクローリングを学びたい」というモチベーションから参加されたエンジニアの方が多い印象を受けました。
福岡でもデータ分析のニーズはありつつも、データ収集が一つのハードルになっていそうだなと感じました。
最後に(宣伝)
LINEではデータ分析業務に興味のあるメンバーを募集しております。
私自身は今年からLINE Fukuokaのデータ分析チームにJOINしたのですが、 定期的な出張で東京と同じように仕事を進められますし、 職住近接で移動時間も節約でき、なかなか効率的な環境だと感じています。一緒にデータ分析でLINEのサービス成長を支援してくれる方、募集中です。東京オフィス・福岡オフィスともに、是非興味のある方はエントリーいただければと思います。