問題タブ [import-from-csv]

MATLAB では、誰かの専門知識が本当に必要です。次のようなcsvファイルがあります（余分なスペースは読みやすくするためです）：

textread と strcmpi を適用しました。目標は次のとおりです。状態に関連付けられたデータを使用して個々の状態を取得し、それを 1 つのプロットにプロットし、終了するまで状態ごとに繰り返すループを開発する必要があります。ループ 1 の場合: アラバマ州には 2 つのデータ セットがあるため、これを抽出してプロットする必要があります。ループ 2: テキサスには 3 つのデータ セットがあるため、これを抽出してプロットする必要があります。このプロセスは、すべての状態が適用されるまで繰り返されます。

コードは次のとおりです。

ループを自動化しようとしているので、ハードコーディングする必要はありません。

私は本当に解決策が必要です-あなたが確信が持てなくても。

会社のすべてのデータをリスト付きの CSV フォルダーとして含むファイルを作成しました。

フォルダーは、列として名前、年齢、入社年、退職年を読み取り、次のようになります。

2000 年に始まったすべての人を隔離しようとしています。これまでのところ、私のコードは読み取ります

そして、これはすべてのマイクデータを出力します。これはdL.

私が知りたいのは、2000 年以降の全員を表示する簡単な方法があることです。2000 年に開始した人を検索するために記述できるコードがあり、そうであれば、それらの人々の行にデータを表示できます。

すなわち

これは可能ですか、それとも元のコードに固執し、各人の行番号を個別に入力する方が良いですか?

私は、列ごとに CSV ファイルを読み取るための迅速な機能を提供する R に慣れていますが、Python で大きなデータ (CSV など) ファイルを読み取るための迅速かつ効率的な方法を提案できますか? たとえば、CSV ファイルの i^{番目の列。}

私は次のものを持っていますが、時間がかかります：

Pythonで（大きなファイルから）データを読み取るより良い方法はありますか（少なくともメモリに関してRと同じくらい速い）？

read.tableデータファイルの読み取りに使用しています。次のエラーが発生しました：

scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
scan() のエラーは、'a real' を期待していましたが、'true' を取得しました

データ ファイルに何らかのエラーがあることを意味することはわかっています。問題は、それがどこにあるのかをどうやって見つけるかということです。エラー メッセージでは、どの行に問題があるかがわかりませんでした。見つけるのが難しいです。または、これらの行をスキップするにはどうすればよいですか?

これが私のRコードです：

変数を列、参加者を行とする CSV ファイルの実験結果を分析しています。すべてのデータを収集する前に、すでに持っているデータの予備分析を行いたいと考えています。ただし、一部の参加者を分析から除外する必要があります。データを削除せずにこれを行うために私が思いついた最善の方法 (後で問題が発生する可能性があります) は、新しい列を作成し、それを「除外」と呼び、定義する各参加者に 1 または 0 を入力することです。誰が除外されますか。次に、統計を実行するときは、データのサブセットに対して実行します (たとえば、exclude == 0 の場合)。

完全なデータセットをダウンロードするときに問題が発生します。すべての 0 と 1 が正しい参加者に関連付けられていることを確認して、予備データセットの「除外」列から完全なデータセットにデータを取得するにはどうすればよいですか? 予備データセットと完全なデータセットの行がまったく同じ順序である場合、コピーして貼り付ける方法はわかりますが、これはエラーが発生しやすいようです。除外列を作成するには、異なる列で並べ替える方がはるかに簡単です. 試してみましrbindたmergeが、私が知る限りでは機能しません。

これが私がやろうとしていることの例です:

numpy の loadtxt 関数を使用して CSV ファイルからデータをインポートしようとすると、小さな問題が発生します。これは、私が持っているデータ ファイルのタイプのサンプルです。

それを「datafile1.csv」と呼びます:

この状況でうまくいくと思ったスクリプトは次のようになります。

しかし、私はエラーが発生しています:

これは、kwarg 'skiprows' がヘッダーをスキップしているのではなく、コメントの最初の行をスキップしていることを示しています。単にskiprows=3であることを確認することもできますが、問題は非常に多数のファイルがあり、ファイルの先頭に同じ数のコメント行があるとは限らないことです。loadtxt を使用するときに、このような状況で実際のデータのみを取得していることを確認するにはどうすればよいですか?

PS - 私は bash ソリューションにもオープンです。

Python を使用して、CSV から値を取得した HTML テーブルのコレクションを生成しようとしています。スクリプトは正常に動作していますが、値が取り込まれる場所に奇数の「¬†」文字が追加されています。

これは、CSV データを取得するために使用したコードです。

これにより、html テーブルを作成する関数が作成されます。

次に、テーブルをテキスト ファイルに書き込みます。

以下の re.sub を for ループに追加しようとしましたが、クロスが残ります。

何か不足していますか？私のコンピューターは宗教的になりましたか?

同様に以下にコピーされた出力の例:

3つの列を持つ長いcsvファイルで次のことをしようとしています:

行ごとに、前の 250 行のエントリの最大値と最小値を取得します。データは次のようになります。列 1 はインデックス (1-5300)、列 2 はデータの場所、列 3 は別の列ですが、ここでは使用しません。これは私が今まで持っているコードです。「i」は列 1 を参照する行インデックスであることに注意してください。列 2 はデータが格納される場所です (つまり、最大値と最小値が必要なデータ)。

私が抱えている問題は、 csv.reader が常にファイルの最後から開始され、アルゴリズム全体がウィンドウの外に投げ出されることです。私が間違っていることを知りません。助けてください