1

Google Cloud platform無料試用版をインストールしました。MapReduceでタスクを実行するためにDataStore、ドキュメントは実行するように言います

./bdutil --upload_files "samples/*" run_command ./test-mr-datastore.sh

しかし、ローカルでこのファイルを取得できませんでした。それには正当な理由があります。この方法でMapReduceジョブを実行することは推奨されていないようです。githubでこれを参照してください。ローカル コマンド ラインから MapReduce タスクを作成する代わりの方法はありBigQueryますか?

4

2 に答える 2

2

データストア コネクタ コネクタは、実際には非推奨です。

「ローカル コマンド ラインから MapReduce タスクを作成する別の方法はありますか」という質問に対して、1 つのオプションはGoogle Cloud Dataflowを使用することです。それ自体は MapReduce ではありませんが、Google で MapReduce に取って代わった並列データ処理のプログラミング モデルです。Dataflow SDK には、Datastore アクセスのサポートが含まれています。

Hadoop とは異なり、クラスターをセットアップする必要はありません。(Dataflow SDK を使用して) コードを記述し、CLI からジョブを送信するだけです。Datastore サービスは、ジョブを処理するために必要なワーカーをオンザフライで作成してから終了します。

于 2015-06-11T05:44:15.100 に答える