問題タブ [hadoop2.7.3]

一般的なクロールの例を実行して、Warc ファイルから URL と電子メールを抽出しようとしています。一つだけ疑問があります。抽出した電子メールが URL に属しているか、他の Web サイトに属しているかにかかわらず、これは紛らわしい部分です。
助けてください。この混乱をどのように解決できますか?
私が行ったことは次のとおりです。WordCount の一般的なクロールの例を使用して、URL を抽出してから電子メールを送信するように設定しました。抽出後、ファイルに保存されます。

それは抽出のための単純なロジックです。しかし、見つかった URL と見つかった電子メールが互いに対応しているとどのように信じることができるでしょうか?

ubuntu 16.04でhadoop 2.7.3シングルノードを実行しています...しかし、オフラインモードでは動作しません..マルチノードクラスターにするために編集しようとした/ etc/hostsファイルに問題がある可能性があります.. .

Hadoop-2.7.3 で Sqoop 1.4 を実行しています。また、Hive-2.1.1 のメタストアとして MySQL 5.7 を使用しています。Sqoop eval コマンドまたは HDFS 操作を実行すると、正常に動作します。しかし、MySQL から HDFS にデータをインポートすると、次のエラーが発生します。ある時点で次のように表示されます：

「コンテナ [pid=8424,containerID=container_1522677715514_0003_01_000002] は、仮想メモリの制限を超えて実行されています。現在の使用量: 109.8 MB の 1 GB の物理メモリが使用されています; 2.1 GB の 2.1 GB の仮想メモリが使用されています。コンテナを強制終了しています。」

しかし、私は自分の VM に 8Gb の RAM を割り当てましたが、VM HardDisk にはまだ 23 GB の空き容量があります。また、インポートしたいデータは次のような 3 行です。

では、どうやって 2.1 GB の仮想メモリを消費するのでしょうか? どうすればこれを解決できますか?

これは、Sqoop インポート コマンドから生成されたログです。