問題タブ [partition]

クエリの最適化の過程で、次の SQL クエリにたどり着きました。

クエリは、最新の check_dt に対応する DATA を返します。ただし、取得したいのは次のとおりです。1.最新のcheck_dtに対応するDATA 2.最新のinspection_dtに対応するDATA。

簡単な解決策の 1 つ - where 単一条件で 2 つの別個のクエリを作成するだけです。1 つは inspect_dt 用で、もう 1 つは check_dt 用です。ただし、そうすると、実行時間を短縮するという当初の意図が失われます。

ソースデータを観察することで、それを実装する方法に気づきました-チェック日は常に検査日よりも後です。ランク= 1のレコードを抽出するだけで、最新のCHECK_DTに対応するDATAが得られ、最大ランクのレコードがINSPECTIONに対応することを知っています。ただし、データは常に一貫しているとは限らないのではないかと心配しているため、より抽象的な解決策を探していました。

hdfs から毎日テキスト ファイルを読み取り、テキスト ファイルの各行から一意のキーを抽出するスパーク ジョブを作成しました。各テキスト ファイルには、約 50000 個のキーがあります。次に、同じデータが抽出されたキーによってフィルタリングされ、hdfs に保存されます。

hdfs に、フィルター処理されたデータを含む hdfs://.../date/key という構造のディレクトリを作成したいと考えています。問題は、非常に多くのキーがあるため、hdfs への書き込みに非常に長い時間がかかることです。

それが今書かれている方法：

これをより速くする方法はありますか？抽出したキーの数にデータを再分割することを考えましたが、hdfs://.../date/key の形式で保存できません。groupByKey も試しましたが、RDD ではないため値を保存できません。

どんな助けでも大歓迎です:)

ORDER BY 句を使用した単純な選択で見たものは信じられません。ここに私のクエリと誤った結果があります:

ご覧のとおり、ソートはdate_validではなくid_variableで行われているようです。期待される結果を得るには、Postgresql が最適化できない新しいフィールドを作成するか、1 日以上のタイムスタンプ範囲を指定する必要があります。

以下はテーブル定義の一部で、月ごとに date_valid で分割されています。

結果が同じ日の場合、Postgresqlが時間でソートしないのはバグのようです。インデックスが作成されていない別のタイムスタンプ フィールドで並べ替える場合、この問題は発生しないため、オプティマイザの問題である必要があります。各日付文字列の後に ::TIMESTAMP を指定した場合、または SELECT * FROM (SELECT ...) x ORDER BY DATE_VALID を使用して別の文字列で選択を囲んだ場合、結果は同じ (ソートされていない) です。同様の構造を持つ他のテーブルでも同じ問題があります。

これは、Postgresql 9.2.8 での EXPLAIN の結果です。

メインの '/' パーティションのファイル属性を一覧表示する際、つまり不変かどうかを確認する際に問題が発生しています。単純な「lsattr /」を実行すると、ディレクトリ自体を除く、その下のすべてのディレクトリが表示されます。

「--」またはこれをチェックできる代替コマンドを使用したハックはありますか? Google での特殊文字の検索が非常に難しいことは役に立ちません。