twitter - Apache Mesos は GPU コアを認識しますか?

Question

Twitter のオープン ソース オフィスの責任者によるこの講演のスライド 25 で、プレゼンターは、Mesos を使用すると GPU (GPGPU を意味していたと思います) リソースでさえも追跡および管理できると述べています。しかし、私はこれに関する情報を他のどこにも見つけることができません。誰か助けてくれませんか？Mesos 以外に、GPGPU をサポートするクラスター マネージャーはありますか?

Answer 1

Mesos はまだ (GP)GPU を直接サポートしていませんが、カスタム リソース タイプをサポートしています。mesos-slave を開始するときに指定する--resources="gpu(*):8"と、これはフレームワークへのリソース提供の一部になり、これらのリソースを使用すると主張するタスクを起動できます。GPU リソースの一部がタスクによって使用されると、そのタスクが完了して GPU リソースが再び使用可能になるまで、残りのリソースのみが再び提供されます。このようにして、Mesos リソース アロケーターは、宣言された GPU リソースを実際にスケジュールし、宣言された量だけがフレームワークに提供/割り当てられるようにします。

Mesos はまだ GPU アイソレーションをサポートしていませんが、「プラグ可能なアイソレーター モジュール」を使用すると、独自の GPU アイソレーターを構築して GPU リソース制限を適用できます。

あるいは、個々の gpu リソースを割り当てたくないが、gpu を持っているノードと gpu を持っていないノードだけを宣言したい場合は、--attributes="hasGpu:true"または同様のものを使用して、gpu を持っている/持っていないノードを区別することができます。この情報はリソース オファーのフレームワークにも渡されますが、これらの属性は実行中のタスクによって「消費」されることはないため、常にそのノードに提供されます。

詳細については、https://mesos.apache.org/documentation/attributes-resources/を参照してください。