問題タブ [datetimeindex]

pandas データフレームの適切な時間インデックスを取得するのに少し問題があります。

問題は、年/月/日、時/分/秒、ミリ秒の最初の 3 つの列に時間が含まれていることだと思います。また、正午より前の場合、時/分/秒の列は最初のゼロを削除します。

理想的には、read_csv 関数の converters 引数によって呼び出される独自の関数を定義したいと考えています。

大きな pandas DataFrame (約 1050000 エントリ) があります。列の 1 つはタイプdatetimeです。年、月、曜日を抽出したい。問題は、以下に示すコードが非常に遅いことです。

アップデート：

データは次のようになります。

私がこのようにすると：

エラーは次のとおりです。

datetimeindex インデックスを持つデータフレームがあります。インデックス値で単一の行を削除しようとすると、行数は正しく N-1 になりますが、インデックスの時間はシフトします。実際、行の大きなチャンクが最初から切り捨てられ、Nan 値を持つ行のチャンクが最後に追加されます。この「チャンク」のサイズは、時間単位のタイムゾーン オフセット * 1 時間あたりの頻度のようです。再現可能な例を次に示します。

datetimeindexed の 2 つのデータフレームがあります。1 つはこれらの日時 ( df1) のいくつかが欠落しており、もう 1 つは完全であり (このシリーズにギャップのない定期的なタイムスタンプがあります)、NaN( df2) でいっぱいです。

df2df1からの値を のインデックスに一致させようとしてNaNいdatetimeindexますdf1。

例：

を使用df2.combine_first(df1)すると、 と同じデータが返されますdf1.reindex(index= df2.index)。これにより、データが存在しないはずのギャップが NaN ではなく何らかの値で埋められます。

これは私が得たいと思っていたものです：

なぜこれが起こっているのか、そしてこれらの値がどのように満たされるかを設定する方法について、誰かが光を当てることができますか?

SQL -> .csv データ ダンプ フラット ファイルを企業ごとの時系列に変換しようとしています。

私にとって重要なのは、データが 4 四半期の年次タプルに編成されていることです。四半期末日は、各会社の最初のタプルで指定される会計四半期です。データを暦四半期の時系列に変更する必要がありますが、その方法がわかりません。

これらのデータ ラベルから日時インデックスを作成するにはどうすればよいですか?

各会社には常に同じ数のタプルがありますが、null 値が含まれる場合があります。以下のデータフレーム行の例では、会計年度の終了日が異なる 2 つの企業が強調表示されています。

四半期ごとの日付ラベルだけを取得するために df をスライスすることから始めました

次に、通常、パンダの日付範囲を次のようにします

最大20の期間があり、場合によってはそれ以下であり、開始と終了は最初のタプルによって動的に定義され、タプルが暦年である場合に想定されるようにタプル内の位置に関連付けられていないため、私は困惑しています.

どのように進めればよいですか？

私はdf1datetimeによってインデックス付けされたデータフレームを持っており、エントリは数週間のサンプルで毎分あります:

Avg(TempBottom,TempTop) が最も低い日を見つけてから、1 日全体のデータを分単位で取得して、その日をプロットできるようにします。

これにより、注文された最低気温の日が得られます。サンプル：

次に、必要なのはdf2から最初のエントリのインデックスを取得することだけだと思います:

しかし、私はエラーが発生しています:

おおよそ8ミリ秒ごとにデータを収集することによって作成されたパンダ(python)データフレームがいくつかあります。データはブロックに分割され、そこでシーケンスが再開されます。すべてのブロックにはラベルがあり、サンプルが収集された時刻 (ファイルの先頭から) を示すタイムスタンプ列があります。アイデアを得るために、フレームは次のようになります。

EXPTIMESTAMP 列は DateTimeIndex です。私がやりたいことは、後でユーティリティのためにその列を保持することですが、ブロック相対 DateTimeIndex を使用して別のサブインデックスを作成します。

私はこれを機能させました：

しかし、このタイプの変換を行うための、よりクリーン/より効率的/よりパンダ風の方法があるかどうか疑問に思っていました。

ありがとう！

datetimeindex をインデックスとしてデータフレームからピボット テーブルを作成するのに問題があります。完全なコードを表示するための編集

問題のコードは

データフレーム (_stat_axis) の内部は、インデックス フィールドが DatetimeIndex であることを示しています。月の列にも datetimeindex 設定がありますが、ピボット テーブルを作成してもシリーズ エラーが発生します。

関数への着信 pandas データフレーム引数に日時インデックスがあることを示すデコレータを追加するにはどうすればよいですか?

パッケージ engarde と validada を見てきましたが、まだ何も見つかりませんでした。関数内でこのチェックを行うこともできますが、デコレータを使用することをお勧めします。