問題タブ [apache-tez]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hive - Hive で UDF を使用する場合、この Kryo 例外を修正するにはどうすればよいですか?
hortonworks 2.6 サンドボックスで機能するハイブ クエリがありますが、サンドボックス バージョンでは機能しません。この例外のため、3.0:
どうすれば修正できますか？
行うことを示唆するいくつかの回答を見てきset hive.exec.parallel=false;ましたが、うまくいきません。それでもこのエラーが発生します。
使用するライブラリのバージョンを確認し、jar で使用するライブラリのバージョンhadoop versionとhive --version一致することを確認しました。
私もこれを試しました: https://community.hortonworks.com/content/supportkb/150199/orgapachehivecomesotericsoftwarekryokryoexception-1.htmlどちらも機能しませんでした。
hadoop - ディスカバリー クラスターでの糸コンテナーの利用を増やすために必要な提案
現在のセットアップ
- 10 ノードの検出クラスターがあります。
- このクラスターの各ノードには 24 個のコアと 264 GB の RAM があります。バックグラウンド プロセス用にメモリと CPU を確保し、240 GB のメモリを使用する予定です。
- コンテナのセットアップに関しては、各コンテナに 1 つのコアが必要な場合があるため、最大 24 個のコンテナをそれぞれ 10GB のメモリで構成できます。
- 通常、クラスターには 1 ～ 2 GB のメモリを備えたコンテナーがありますが、使用可能なコアが制限されているか、何か不足している可能性があります。
問題文
私たちのクラスターはデータ サイエンティストやアナリストによって広く使用されているため、24 個のコンテナーだけでは十分ではありません。これにより、リソースの競合が激しくなります。
コンテナの数を増やす方法はありますか?
検討中のオプション
- チームに多くの tez クエリを (個別にではなく) ファイルで実行するように依頼した場合、最大で 1 つのコンテナーを保持します。
リクエスト
- ディスカバリー クラスターを管理する他の方法はありますか。
- コンテナのサイズを小さくする可能性はありますか。
- vcore (論理的な概念であるため) を複数のコンテナーで共有できますか?