プロポーザル
これは応募されたプロポーザルです。聞きたいと思うプロポーザルを各ページの下部にあるSNSのボタンで拡散しましょう。拡散された投稿をプロポーザルへの投票としてカウントし、選考時に参考にさせていただきます。
talk
AWS APIGateway + Python Lambda + NEologdで作るサーバレス日本語形態素解析API(ja)
スピーカー
Satoru Kadowaki
対象レベル:
初級
カテゴリ:
Cloud
説明
PythonとMeCab+NEologdを使用した日本語形態素解析環境は様々な場面で広く利用されていますが,容量などサイズも比較的大きくなりがちで,サーバレス環境のような気軽な環境で動作させることは容易ではありません.本トークではAWSのサーバレスサービスであるLambdaを使用して日本語形態素解析環境をPython + MeCab/NEologd + AWS Lambdaで作成する際に有効なTipsを中心に紹介します.
目的
自然言語処理を行う上で重要な日本語形態素解析基盤をPythonとサーバレスアーキテクチャの組み合わせで構築する手法を学びます.
概要
PythonとMeCab+NEologdを使用した日本語形態素解析環境は自然言語処理やテキストマイニングなど様々な場面で広く利用されています.一方でこれらの環境を開発環境と合わせて使用するためにはOSや文字コードなどの依存関係でセットアップやデプロイが面倒なことも多く,Docker化しても辞書のサイズが大きくコンテナが肥大化していくなど,簡単な日本語解析を行えれば良いようなケースにおいても比較的大きなリソースが必要とされます.
このようなケースにおいては,必要な機能をAPI化してできるだけ安価に利用できる環境をAWSのサーバレスサービスであるLambdaような環境に用意することが理想的ですが,AWS Lambdaでは容量の制限も厳しくMeCab+NEologd環境はそのままでは実行することができません.
本トークではこのような問題をPython実装で補いつつMecab + NEologdの良いところ取りをしたLambda API環境を構築する方法を紹介します.