問題タブ [bz2]

DNS サーバーがあり、DNS トラフィックをキャプチャして、DNS サーバーを使用するすべての IP を取得したいと考えています。

このために、次のtcpdumpコマンドの使用を開始し、それらをファイルにキャプチャします。

しかし、これを長時間実行するとファイルサイズが大きくなります。これを圧縮ファイルにキャプチャするにはどうすればよいですか? 以下のコマンドを試しましたが、うまくいきません。

私は通常、.gz を使用して Spark でファイルを読み書きします。ファイルの数は、RDD パーティションの数と同じにする必要があります。つまり、1 つの巨大な .gz ファイルが 1 つのパーティションに読み込まれます。しかし、1 つの .bz2 を読み込んだ場合でも、1 つの巨大なパーティションを取得できますか? または、Spark は 1 つの .bz2 を複数のパーティションに自動的に分割することをサポートしますか?

また、Hadoop が 1 つの bz2 ファイルから読み取っている間、パーティションの数を知るにはどうすればよいですか。ありがとう！

次のように、共有オブジェクトを Python コードにインポートしようとしています。

次のエラーが表示されます。

ImportError: ./bz2.so: 共有オブジェクト ファイルを開けません: そのようなファイルまたはディレクトリはありません

imp モジュールを使用して、Python が実際にそれを見つけられることを確認できます。

共有オブジェクト ファイルは PYTHONPATH と LD_LIBRARY_PATH にあります。

この共有オブジェクトをインポートできない理由についての洞察はありますか? ありがとう！

Spark で大きな (50 GB などの) bz2 ファイルを効率的に取り込む方法はありますか? 私は Spark 1.6.1、それぞれ 30 GB の RAM を持つ 8 つのエグゼキューターを使用しています。当初、各エグゼキュータには 4 つのコアがありました。ただし、bz2 ファイルを textFile() で開くと、ArrayOutOfBoundsException がスローされます。ここ（およびウェブ上の他のスレッド）で報告されているようにhttp://apache-spark-user-list.1001560.n3.nabble.com/java-lang-ArrayIndexOutOfBoundsException-using-sc-textFile-on-BZ2-compressed-files -td22905.html、Hadoop が使用する bz2 デコンプレッサはスレッド セーフではないため、Spark のようなマルチスレッド環境で問題が発生します。これを回避するために、上記の Web ページで提案されているように、executor ごとのコア数を 1 に設定しましたが、これにより全体的な計算が遅くなります。

Hadoop 2.4.0.2.1.1.0-390 を使用しています。これについて何か考えはありますか？

ありがとう、

マルコ

ツイスト pip インストールをインストールしようとしています

これはdjango-channelsプロジェクト用であり、次のエラーの問題が発生しています

明らかにbz2モジュールが不足しているため、手動でインストールしようとしましたが、うまくいきませんでしたpython 3.5。どうすればこれを解決できますか?

私は@ e4c5が提案したことをしましたがpython3.5.1、出力は

私はUbuntu 14.04 LTSを使用しており、ソースからpython 3.5をインストールしました。

basehansard.sql.bz2 を MySQL にインポートするにはどうすればよいですか? basehansard.sql (テキスト ファイル) になるようにファイルを抽出しようとしましたが、データのインポートでエラーが発生しました (エラー 1193 "不明なシステム変数 'statement_timeout'")。

データ ソースはhttp://www.lipad.ca/data/です。Workbench 6.3 CE を使用しています。