問題タブ [filesplitting]

Apache Spark (私は PySpark を使用しています) でファイルを読み取る場合、各行にキーが必要です。例えばこんな感じ

次に、キーによって削減されます

HDFS から読み取るときにファイルがどの行で分割されるかがわからず、各行にキーがあると map-reduce の使用に役立つため、これがベスト プラクティスです。しかし、私の入力ファイルは異なって見えます:

問題は、HDFS がランダムな場所でファイルを分割する可能性があるため、Apache Hadoop Spark クラスターの 2 番目のノードがファイルの 2 番目の部分を読み取るときに、それがkey1に属していることを知らずに{timestamp4, value4} で始まることです。

その問題を解決する方法はありますか？クラスターに入る前に、ローカル マシンで入力ファイルを別の形式に変換することは避けたいと思います。

たぶんカスタムファイルスプリッターを使用していますか？Python 2.7 (Pyspark) で解決策を探しています。

ヒントをありがとう！

もっと適切なものが見つかりません。私は PhpStorm を使用して Web コンテンツ (php、html、css、js ..) を作成していますが、長いファイル (失われるのに十分な数百行でさえない) を見つけるのが難しいという問題に直面しています。不要なコンテンツを削除します。

ディスク上の1つのファイルから異なるファイルを作成する機能、プラグイン、または外部ファイルマネージャーがあるかどうか疑問に思っていました。

例：.cssファイルがある場合、そのコンテンツはhtmlのさまざまな機能/部分を扱っていることは確かですが、それらはすべて同じhtmlページにあります。したがって、.cssパーツごとに異なるファイルを作成するのは悪い考えですが、コードを個別にコーディングしてデバッグできるように、パーツ/機能ごとに異なる仮想ファイルを作成すると便利です。しかし、それらは同じファイルに保存されます。

まあ言ってみれば：

1. common_header.css: ヘッダーを扱います
2. common_menu.css: お得なメニュー (ページにあるメニューの一部)
3. common_footer.css：ページの最後まで何でも扱います
4. ... 等々

そのため、コーディング中にさまざまなファイルが表示されます (元のファイルのサブツリーとして最適です)。ファイル マネージャーには次のようなものがあります。

• ....他のファイル // サブツリーが隠されているため、ここのドットは + でなければなりません

• common.css // サブツリーが表示されているため、ここにドットがあるはずです

  • common_header.css
  • common_menu.css
  • common_footer.css
  • ...

• ....その他のファイル

しかし、ディスク上では、それらはすべて同じファイル上にありcommon.css、ブラウザにも 1 つとしてロードされます。

C# で大きなテキスト utf8 (文字バイトが異なる) ファイルをインポートするためのインポーター プログラムを開発しています。20GB のファイルをすべて RAM にロードすると、この解決策は適切ではなく、可能ではありません。ファイルを複数の小さなファイルに分割して処理することをお勧めします。今、私の問題は、処理対象のファイルを分割することです。私の解決策は、ファイルを1行ずつ読み取り、行番号が適切な数である場合はそれらを分割することです。しかし、分割のためにファイルを1行ずつ読み取るのは高速な解決策ではないと思います。分割時間が長い。大きなutf8ファイルを複数のファイルに分割するためのアルゴリズムはありますか？

この ( https://github.com/huntergdavis/Easy_File_Split_And_Join ) プログラムを使用して、ファイルを分割および結合しました。apkファイルを期待して、すべてが完璧に機能します。このプログラムは、ビデオ ファイルなどを正常に分割および結合できますが、apk ファイルについては同じことを行うことができません。プログラムのエラーを見つけてください。また、apk ファイルも分割および結合するための正しいコードを提供するように要求します。ありがとう。

数百万件のレコードからなる 1 つの大きなデータ テーブルがあります。それを特定のサイズの複数の CSV ファイルにエクスポートする必要があります。たとえば、5MB のファイル サイズを選択し、エクスポートと言うと、Datatable はそれぞれ 5MB のサイズの 4 つの CSV ファイルにエクスポートされ、最後のファイル サイズは残りのレコードによって異なる場合があります。私はここで多くのソリューションを調べ、csvhelper ライブラリを調べましたが、大きなファイルを扱うすべての取引は複数の CSV に分割されますが、メモリ内データ テーブルは指定されたファイル サイズに基づいて複数の CSV ファイルに分割されません。これをC#でやりたい。この方向での助けは素晴らしいでしょう。

ありがとうジェイ