別々のファイルに 2 つの行列があります。ファイルを乗算できるように、ファイルをキャッシュに読み込む必要があります。HDFS が役立つかどうか疑問に思っていました。ファイルを読み取って処理するのに十分なキャッシュ メモリがないため、HDFS はそうではないのではないかと思います。つまり、同時に 2 つのファイルを開くことはできますか
1 に答える
0
短いバージョンの質問に答えるには、はい、HDFS API では一度に 2 つのファイルを同時に読み取ることができます。2 つのファイルに対して 2 つの入力ストリームを作成し、それらを (通常のファイルの場合と同様に) 並列に読み取り、その周りのロジックを管理するだけです。
ただし、HDFS は単純なファイルシステムであり、提供する独自のキャッシュ (OS バッファー キャッシュ以外) はなく、実行する必要がある計算用のキャッシュは、独自のアプリケーションで処理する必要があります。
もう 1 つの一般的な推奨事項として、行列を乗算しているように見えるので、おそらくHDFS をサポートするApache MahoutおよびApache Hamaプロジェクトを調べてください。
于 2012-11-17T10:02:41.843 に答える