問題タブ [mappers]

毎日データが追加されるハイブ テーブルがあります。そのため、毎日約 5 つのファイルが追加されます。これで、このテーブルの下に 800 個のパーツ ファイルができました。

マッパーはファイルの数に比例するため、私が抱えている問題は、このテーブルに参加または使用することで、800 のマッパーをトリガーすることです。

しかし、実行中のジョブにはテーブル全体を使用する必要があります。

テーブル全体を使用する方法はありますが、あまりにも多くのマッパーをトリガーしませんか?

ファイルは以下のようになります

MyBatis 3.3.1 と Spring 4.3 を使用して、2 つの異なるデータベースからデータを取得しています。マッパーをスキャンする 2 つの構成クラスは次のようになります。

コードは正常にデプロイされますが、データ ソース 1 のマッパーのみが機能します。データ ソース 2 のマッパーを使用しようとすると、データベースから「テーブルが見つかりません」という例外が発生します。問題は、mapperScan で使用したい特定の SqlSessionFactory を設定しているにもかかわらず、すべてのマッパーに対して他の SqlSessionFactory を使用してしまうことです。構成 1 の SqlSessionFactory をコメント アウトすると、構成 2 が機能します。

MapperScan を使用せず、代わりに MapperScannerConfigurer Bean を使用すると、データを正しく取得できることに注意してください。

@MapperScan を複数のデータ ソースで使用する際に問題が発生した人はいますか?

枚数の設定方法が知りたい

NameNode

データノード

マッパー

レデューサー

Hadoopのコード/構成で。

Hadoop で DataNodes の数を設定するには? コード、構成、または環境の決定によるものです。また、誰かが「ノードごとに 10 ～ 100 マップ程度のマップの推奨数」と言った記事をサーフィンしているときに、ここでの「ノード」は NameNode または DataNode を意味しますか?

また、MapTasks の数について話すとき、分割数と等しいと言う人もいれば、ブロック数と言う人もいれば、フレームワークによって決定され、正確な分割数またはブロック数が得られない可能性があると言う人もいます。彼らからですか？