データベースに何百万ものレコードがあり、それを Python で読み取り、 pandas data frame に保存したいと考えています。問題は、選択クエリの処理時間が非常に長いことです。クエリの処理時間を短縮するために、マルチスレッドを実行しようとしました.3つのスレッドを作成し、次のような各スレッドに基づいてクエリを作成しました
Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=0
Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=1
Select * from ( select *,rownum over (order by col1) rn from table) where rn%3=2
次に、スレッド パッケージを使用して、Python でスレッドを使用して各クエリを実行します。
しかし、それはまた、時間をあまり短縮しません
クエリの読み取り時間を短縮するために私が取ることができる他のアプローチはありますか? 注 - jdbc 接続と odbc 接続の両方を使用しました