問題タブ [fileparsing]

Python を使用してテキスト ファイルを解析するプロジェクトに取り組んでいます。このファイルは、さまざまなブロック形式のデータ エントリで構成されています。新しい行がある場合、新しいエントリが見つかります。これは私が達成したいことです:

1. 最初の数行をスキップ (最初の 16 行)
2. 16 行目以降に、新しいデータ エントリを開始する改行があります。
3. 新しい改行がヒットするまで、次の行を読みます。個々の行は、データと呼ばれるリストに追加されます。
4. リストは、その後の処理を処理する関数に渡されます。
5. ファイルにデータがなくなるまで、手順 3 と 4 を繰り返します。

ファイルの例を次に示します。

ここに私が取り組んだいくつかのコードがあります。最初のブロックを読み取り、リストに追加できます。

ファイル全体で機能するようにするにはどうすればよいですか? 私の仮定は、「with open」を使用すると、「while not end of file」として機能するということでした。最初の 16 行をスキップした後、「while True」を追加してみました。私は Python の解析機能についてほとんど知識がありません。

助けてくれてありがとう。

私は現在、Whatsapp でのグループ チャットの使用状況を分析する小さなツールに取り組んでいます。

私はwhatsappログ​​ファイルでそれを実現しようとしています. .txtフォーマットされたテキストを操作するために、生を次のフォーマットにフォーマットすることができました。

ここまでは順調ですね。問題は、次のようなフロッピー行がいくつかあることです。

さらに悪いことに：

この問題を解決するにはある種のアルゴリズムが必要だと思いますが、私はプログラミングが初めてで、そのような複雑なアルゴリズムを作成することはできません。

Python での同じ問題: whatsApp 会話ログを解析する

[編集]

これは動作しない私のコードです。（かなり悪いのは承知しています）

[編集2]

最後に、ファイルを読み込んで各行を分析したい:

いつ、誰が、何を、どれだけ書いたかがわかります。

次の行を取得した場合：

いつ書かれたのか、誰が送ったのかわかりません

ファイルをドラッグ アンド ドロップして別の形式に変換できる Web サービスを定期的に使用しています。Python スクリプトを作成して (または他の言語を使用して)、いくつかのファイルで URL を開くことができるかどうか疑問に思っています。

私の質問の理由は、「FolderAction」に基づいていくつかのファイルを選択し、それらを適切なフォルダーに並べ替え、「GPX から TCX」への変換で URL を自動的に開く Apple Automator フレームワークがあるためです。ただし、選択したファイルを手動でドラッグ アンド ドロップし、サービスで変換してファイルをダウンロードする必要があります (これを自動化するために UI アクションを記録できますが、信頼性が低い傾向があります)。

スクリプトからすべてを実行できれば素晴らしいと思います。そのため、いくつかの GPX ファイルを ieg、python スクリプト、およびサービスの URL に提供し、何らかの形でファイルを URL と一緒に解析します。いくつかの洞察のために URLLIB と URLLIB2 を読み取ろうとしましたが、これらのいずれかを使用できるかどうかはまだわかりません。これまでのところ、私の python は NumPy と SciPy を使用した厳密な科学に使用されています。

これが可能かどうかはわかりませんが、ファイルをドラッグ アンド ドロップするだけで、URL を使用して解析できるのではないかと考えました。

フィードバックをいただければ幸いです。

これが Python では不可能であるが、他の言語では可能である場合、私もガイダンスをいただければ幸いです。

約 500,000 個のファイル {Ai} を処理するプログラムがあり、ファイルごとに解析用の定義 {Di} をフェッチします。

今のところ、各ファイル {Ai} は専用の celery タスクによって解析され、そのたびに定義ファイル {Di} が再度解析されてオブジェクトが生成されます。このオブジェクトは、ファイル {Ai} (JSON 表現) の解析に使用されます。

定義ファイル (生成されたオブジェクト) {Di(object)} を保存して、タスク全体で使用できるようにしたいと考えています。

だから私はそれを管理するための最良の選択は何だろうかと思います:

1. Memcahe + Python-memcached、
2. set(add)/get インターフェイスを使用してオブジェクトを「保存」する長時間実行タスク。

パフォーマンスとメモリ使用量に関して、最良の選択は何ですか?

ログファイルを解析しています:

すべてのログはタイム スタンプで始まります。

ログを個別に解析することを考えています。タイムスタンプとフェッチでそれらを分離することを考えたので、正規表現を書きました：

ただし、これは最初のログのみをフェッチします。

残りではありません。

1. 最初のログの後にログを取得し続けるにはどうすればよいですか?
2. 私のアプローチよりもこれを処理するためのより良い方法はありますか?

ありがとうございました。

次の内容を持つ「names.txt」という名前のファイルがあります。

問題文 : ファイル "names.txt" には、次の形式の生徒の記録がいくつか含まれています -

{"number": [year of birth, "name rank"]}

このファイルを解析し、年に従ってそれらを分離し、ランクに従って名前を並べ替えます。最初に分離し、次にソートします。出力は次の形式にする必要があります -

したがって、期待される出力は -

まず、このファイルの内容を辞書オブジェクトに保存する方法は? 次に、年ごとにグループ化し、ランクごとに名前を並べ替えますか? Pythonでこれを達成するにはどうすればよいですか?

ありがとう..

次のような構造のファイルがあるとします。

列 $1 の各値について、列 $1 の値が最も高い行全体を抽出する必要があります。これは、フィールド AAAA の場合、$2=2000 の行を出力する必要があることを意味します。したがって、出力は次のようになります。

pythonでやったのですが、ファイルが巨大で処理にとても時間がかかります。awkでそれを行う方法はありますか？

My CSV File Is as below ,

As one can see the csv file contains extra "Comma" at end of each line instead of blank . and Row Breaker / Line Seperator is missing and hence Its showing error in parsing csv file in "FILE HELPERS" . getting error as "extra comma is found at the end of filed ['Place'] "

how to solve this issue ??

my Delimiter CLass goes like this

and Parsing Code is like this ...

...

以前の tcpdump を含むファイルがあるため、ファイルには次の形式の行があります。

私の関数は、各行の特定の文字列 (送信元アドレスと宛先アドレス) を抽出して出力するだけです。奇妙なことは、それが機能することです（印刷する必要があるものはすべて機能します）が、最終的にエラーが発生します。

これが私のコードです：

出力は次のとおりです。