応募トーク

これは応募されたトークです。聞きたいと思うトークをSNSで拡散しましょう。選考時に参考にさせていただきます。

talk

Pythonで実現する4コマ漫画の分析・評論(ja)

スピーカー

Shinji Sato

対象レベル：

初級

カテゴリ：

Other

説明

日本に限らず海外でも漫画表現として用いられる「4コマ(yonkoma)」。近年ではアニメの題材にもなることが多く、より良い表現を考慮すべく、その技術解析・分析・評論を行い、読者・漫画家・編集者を含めてその成果を共有することは文化的に大きな価値があると言えます。本Talkでは、その序論として4コマ漫画のデータを抜き出し並びに、統計や機械学習を用いた分析をPythonで一気通貫に行う手法を紹介します。

目的

4コマ漫画の表現分類。また、4コマ漫画におけるPythonを用いた以下の処理について：画像処理、画像認識、統計、機械学習

概要

紹介予定のコード: https://github.com/esuji5/yonkoma2data

本Talkの目的

なぜ4コマ漫画なのか

ある程度決まった形式の表現なので機械的に処理しやすい
WEB上で目にすることの多い漫画表現、アニメ原作に選出される頻度が多くなってきた等の文化的価値

分析結果をどう使うか

カメラワーク、キャラクター配置、会話パターンのレコメンド
4コマ漫画をラフネームレベルで自動生成
- フリー素材のイラストを用いて配置することで自動生成もできるかも？

データを集める

基本データの収集

それぞれのコマに切り出す
- (PDFファイル名を背表紙のバーコードから自動リネーム)
- PDFからページごとのPNG画像へ
- PNG画像から1コマ毎の画像へ
- コマからセリフや人物がはみ出すものが失敗しやすい
扉絵を切り出す
柱ネタ
おまけページ
奥付

コマ上に配置されたデータ

人物
- アニメ顔検出器で正面の顔は結構取れる
  - ↑をベースに発展させた検出器とかつくれないか
  - アニメ顔検出器で取った画像を元に学習させてさらに検出器を…
吹き出し
- 画像認識ベースである程度できそう？
- ただの白背景との識別はどうするか
- 逆に文字を検出してからの吹き出し検出はどうか
- 赤松健氏のマンガ図書館Zで、自動翻訳のために機械学習で吹き出し検出をやろうとしているらしい
セリフを抜き出す
- 吹き出し検出
- OCR
  - Google Cloud Vision APIで縦書きも認識できているのでこちらをメインで使う
    - 吹き出し別にセリフが取れるように設定が必要
背景
セリフ、人物、状況から該当コマを検索するシステム