問題タブ [chunking]

nilsで初期化された配列を、空のセグメントと連続する数値を含むセグメントに分けたい状況があります。

これに対するエレガントなソリューションを提供する の高階chunk関数を見つけました。Array

ただし、各チャンクの元の配列への開始インデックスも出力に含めたいとします。つまり、上記の出力を次のように拡張します。

上記のチャンク スニペットの表現力を保持するこれを取得するための解決策はありますか?

前もって感謝します。

パターンが与えられた文からすべてのチャンクを取得するにはどうすればよいですか。例

タグ付けされた文：

解析すると、

私は他の選択肢も欲しいです

メールでいっぱいのデータベースがあります。to、from、subject、body などが列として含まれています。基本的に同じ形式で出力しようとしていますが、出力ファイルを使用するアプリケーションの場合、本文テキストは約 300 文字を超えることはできません。すべてのテキストが必要なので、最初の 300 文字だけを取得したくはありません。私がやりたいのは、メール本文が 900 文字の場合、それぞれがメッセージの 3 分の 1 を含む 3 つの別々の行を返し、すべての行に宛先、差出人、件名などを含めるように、テキストをチャンクアップすることです。情報。

すなわち）私はこれを持っています：

これ欲しい：

ありがとう！

I am calculating the correlation between two data sets but due to the big size of the data (10 GB) while my RAM is only 6 GB I am facing a memory issue. I wonder how can to chunk my code?

But got this error:

大きなテキスト ファイル (~7 GB) があります。大きなテキストファイルを読むための最速の方法が存在するかどうかを探しています。プロセスを高速化するために、チャンクごとに読み取るいくつかのアプローチの使用について読んでいます。

例ではeffbotが提案します

毎秒 96,900 行のテキストを処理するために。他の著者は islice() の使用を提案しています

list(islice(f, n))nファイルの次の行のリストを返しますf。nこれをループ内で使用すると、ファイルが行のチャンクで表示されます

上記のコード スニペットを評価すると、次のように出力されます -

(こんにちは 0 こんにちは 1 こんにちは 2 こんにちは 3 こんにちは 4 こんにちは 5 こんにちは 6 こんにちは 7 こんにちは 8 こんにちは 9 1 2 3)

map は遅延シーケンスを返すため、これは印刷のみを期待していました-

(こんにちは 0 こんにちは 1 こんにちは 2 1 2 3)

ここでリスト全体が評価されるのはなぜですか?

区切り文字がN回出現するたびに、テキストファイルを断片/チャンクに分割するワンライナーはありますか？

例：以下の区切り文字は「+」です

エントリは数百万あるため、区切り文字「+」が出現するたびに分割することはお勧めできません。たとえば、区切り文字「+」の50,000番目のインスタンスごとに分割したいと思います。

Unixコマンドの「split」と「csplit」はこれを行わないようです...

私は行のテキストファイル（数GBと約1200万行）を持っています。各行はポイントx、y、z、+アクセサリ情報です。ファイルをチャンクごとに読み取り、ポイントを処理し、結果を一時フォルダー内のいくつかのテキストファイルに分割します（ポイントの位置に基づく空間インデックスに従って、0.25 mの正方形グリッドを尊重します）。

";"区切り文字はどこにありfirst two columns the x and y、ID position

出力結果は、IDごとに1つのポイントのみがランダムに抽出される別のテキストファイルです。

元：

ここで、最初の2列はIDです。

最終的な出力は（例）ID値なしになります

このブログのソリューションを使用しています

私のコードは次のとおりです。

私のコードの主な問題は、約200万の分割テキストファイルが一時フォルダに保存されると速度が低下することです。effbot.orgバッファを作成するための最適化された方法があるかどうかの解決策を尊重して知りたいですか？

私は現在、ビデオを1時間間隔でキャプチャして保存する必要があるMJPEGカメラを持っています。

受信データをチャンクしてファイルに保存することでこれを達成しようとしましたが、作成されるファイルは、約 1 秒の長さのビデオ ストリームの破損したバージョンにすぎません。

これが私が持っているものです

そのすべてはバックグラウンドワーカーにあり、指定された時間だけ実行するスレッドにタイマーがあります。

私が使用しているこの方法はストリームに接続していますが、先ほど言ったように、ビデオを 1 秒しか保存していないため、ビデオが破損しています。