Pig 0.11 でスクリプトを実行するのが遅いと感じている人はいますか? Pig 0.11 と Pig 0.8 を使用して、同じ環境でスクリプトを実行しました。Pig 0.8 は常に高速でした。
コメント ?
質問する
172 次
1 に答える
0
あなたのLOADステートメントUSING PigStorage()が多くのファイルと一致するためでしょうか？PigStorage()Pig 0.11 では、デフォルトで HDFS 上のスキーマ ファイルをチェックして、一致するファイルを探します。これにより、大量のファイルを読み取っている場合、非常に遅くなる可能性があります。
を使用しx = LOAD '...' USING PigStorage('...','-noschema')ます。-noschemaを使用すると、スキーマ ファイルの検索が回避され、速度が回復するはずです。
詳細はこちら。
于 2013-03-19T14:02:51.313 に答える