問題タブ [rowwise]

大きなテーブルの各行に基づいてデータ構造のセットを作成する必要があるコードに取り組んでいます。現在、パンダを使用してデータを読み取り、基本的なデータ検証の前処理を行っています。ただし、残りのプロセスに進み、対応するデータ構造にデータを配置すると、ループが完了してデータ構造が作成されるまでにかなりの時間がかかります。たとえば、次のコードには、1,500 万レコードのテーブルがあります。テーブルには 3 つの列があり、各行に基づいて foo() オブジェクトを作成し、それをリストに追加します。

したがって、pandas を使用して文字列の日付を日付オブジェクトに変換した後は、DataFrame を反復処理してオブジェクトを作成し、それらをリストに追加するだけです。このプロセスには非常に時間がかかります (私の実際の例では、データ構造がより複雑で、より多くの列があるため、さらに時間がかかります)。したがって、この場合、実行時間を向上させるためのベストプラクティスは何なのか疑問に思っています。pandas大きなテーブルを読み取って行ごとに処理するために使用する必要がありますか?

patternとのvar_1使用mutate()を取り除こうとしていgsub()ます。

gsub()文字列しかとらないので、のrowwise()前に使用する必要がありmutate()ます。それ以外の場合は、列の最初のレコードのみが使用されpatternます。

rowwise()プロセスがかなり遅くなるため、使用せずに同じ結果を達成する他の方法があるかどうか疑問に思っています。

望ましい結果:

次のティブルを検討してください。

次のように、変数「z」を作成して、「x」と「y」の行ごとの合計を作成したいとします。

これは私が望むものにはうまく機能しますが、問題は私の真のデータセットには多くの変数があり、持っている変数と持っていないものを事前にチェックしたくないということです。したがって、合計の要素の中に存在しない変数があるとします。

この場合、列「w」が存在しないため、実行されません。「w」が存在しないことを無視し、「x」と「y」を合計して、とにかく実行するにはどうすればよいですか?

PS: 合計を実行する前に、データセットをフィルタリングせずに行うことを好みます。変数が存在するかどうかに関係なく、何らかの方法で合計を実現したいと思います。