### intro 私の研究の中でNP困難な問題を解く必要がでてきました。並列計算をする必要がありGILのあるPythonのみでは困難でした。これまでの研究はすべてPythonとIPython notebook上で行っており、これまでの資産がありました。この資産を捨て、Python以外の言語で再実装するのはナンセンスです。そのため、NP困難な問題のソルバーをRust・C++/Cythonを用いて構築し、Pythonから実行可能にすることを考えます。 より抽象的に考えた際に、プログラミング言語の仕様・ライブラリ・文化に対し、得意な処理/不得意な処理があるということです。先の例では、Pythonの不得意な処理(並列計算)に対し、並列計算の得意なRustで実装するという手段を取りました。同様に分散処理をactor modelで組もうと考えた際は、Pythonよりerlangのほうで実装したくなります。そのような状況では、あるコンポーネントはある言語で書きたいが別のコンポーネントは違う言語で書きたいという欲求がでてきます。 この1つのプロジェクトに対し複数の言語が混ざった(この状態をchimeraと命名)場合に考えるべきことを、実際に実装を行った上で議論します。 ### 事例 - numpy - CORBA ### 実際にchimeraでいくつかのプログラムを実装する - Python,Rust - Python,C++,Cython - Python,erlang ### 設計上の考慮点 - コンポーネント間の関係(対等/所有) - host/process/thread? - コンポーネントのインターフェイス - 結合度 - 基本的に従来の設計と考えることは変わらない - 各言語仕様や文化を考慮する必要はあるが ### 実装上の考慮点 - コンポーネント依存グラフのrootをだれにするか(人?setup.py?) - build toolはどうするか? - 依存しているライブラリの数が言語により爆発する、debugの難しさ - dockerによる環境の固定化 - serializeは如何にするか - protocol buffers - json - 通信手段は如何にするか(host/process/thread間?) - zmq - shared memory ### 保守上の考慮点 - 全員がすべての言語を理解する必要があるのか - 現状では十分なノウハウがない ### 現状の問題点 - ノウハウがない(best practice, anti-pattern) - 議論してる人が居ない(ようにみえる) - 本当の意味でのglue言語 - build tool(no setup.py) ### (chimeraから見た)Pythonの今後 - Pythonの長所/短所を把握する必要性 - 如何にPythonの資産を活かすか - 容易にPythonの短所を委任できるようにできるか