一部の MySQL データベースを Postgresql に変換する必要があります。

最適なソリューションであることが約束されているpgloaderスクリプトに出くわしましたが、Windows 環境から来たので、それをビルドする方法がわかりません。私のサーバーにはCentOS7がありますが、yum. readme ファイルに記載されている bootstrap-centos7.sh スクリプトをどこから開始すればよいか、または実行する方法さえわかりません。

Windows で pgloader をコンパイルしたことがある人や、このプログラムを CentOS7 でビルドするための明確な手順を提供できる人はいますか?

pgloaderを使用して、二重引用符で囲まれた空の文字列を持つ .csv ファイルからインポートしています。サンプルラインは

12334,0,"MAIL","CA","","サンフランシスコ","TX","","",""

インポートが成功すると、二重引用符 ("") を持つフィールドは、postgres データベースで 2 つの単一引用符 ('') として表示されます。

2 つの単一引用符 ('') の代わりに null または空の文字列を挿入する方法はありますか?

私は引数を使用しています -

このようなドキュメントに記載されている「空文字列からヌルへ」を使用してみました-

しかし、それは私に言うエラーを与えます-

pgloader nph_opr_addr.test.load 未処理のエラー状態が通知されました: At LOAD CSV

^ (行 1、列 0、位置 0) 部分式 ";" を解析できませんでした 解析時

pgloader を使用してファイルをテーブルにロードしています。定数 (つまり、csv によって提供されないフィールド) をロードする必要がありますが、成功しません。

私の構成は次のようになります:

「SRC」静的値をフィールド my_table.Src に入れる必要があります。

何か考えはありますか？

ありがとう。

よろしく、

-- ジュリアン

だから私はそのようなDjango DBモデルを持っています:

pgload を使用してデータベースに CSV を入力しようとしていますが、エラーが発生します。

2016-04-24T07:00:53.311000Z ER​​ROR データベース エラー 22P02: 不正な形式の配列リテラル: "ランダム タイトル名" 詳細: 配列値は "{" または次元情報で始まる必要があります。

これで、生の SQL で配列値を挿入する方法がわかりました。pgloader を使用してそれを行う方法に困惑しています。ここに私の設定もあります。

TARGET COLUMNSオプションの引数を使用しようとしているときに、pgloader を動作させるのに苦労しています。

ターゲット列を使用しない場合、問題なく動作します。 temploadとまったく同じ列がありますdata.csv。

実行するたびに、この時点でハングアップします。

私は完全に途方に暮れています。私が言ったように、使用しなければ問題なく動作するTARGET COLUMNSので、それがデータであるとは本当に信じていません。

3.2リリースとdockerイメージで同じことが得られます。

centOS 6.7 (64 ビット)にpgloaderをインストールしようとしています。

手順

結果

-Uvh pgloader-3.0.98-21.el6.x86_64.rpm: 不明なオプション

どうすれば修正できますか？何か見逃しましたか？rpm などをインストールする必要がありますか?

企業の IT 部門によって厳重に管理されている Windows 7 ラップトップでPostgreSQL 9.6を実行しています。私はこのラップトップの管理者権限を持っていませんが、BeyondTrust を通じて付与された昇格された権限を通じて、ソフトウェアのインストールを含む「多くの」ことを行うことができます。

このデータベースを使用して、さまざまなソースから多数の中規模のデータセットをインポートし、詳細な分析とレポートを実行します。これらのデータセットには、エンコーディングとフォーマットのクレイジーなバリエーションがあり、インポート中に問題が発生します. 1 つのデータセットについて、まずそれを MySQL にインポートし、データから問題のある文字を取り除き、CSV にエクスポートして戻し、最後にこのクリーンアップされたデータを PostgreSQL にインポートします。

実験として、macOS 10.12 を実行している自宅の iMac に PostgreSQL 9.6 と pg_loader をインストールしましたが、すべてのデータセットを問題なくインポートできました。

これらすべてを背景として考えると、pg_loaderさまざまなデータセットをインポートするために使用する必要があります。ただし、この Web サイトには、Windows インストーラーも、Windows でコンパイルするための手順も提供されていません。

最も望ましいものから最も望ましくないものまでのリストで、次のいずれかの方向に私を向けることができますか?

1. pg_loader の Windows インストーラー
2. pg_loader に匹敵する代替の Windows インストーラー
3. Windows で pg_loader をコンパイルするための詳細な手順
4. インポート前に Python を使用してデータをクリーンアップするための提案 (警告: Python の経験はほとんどありません)

私の Rails アプリケーションでは、ローカルの sqlite3 ファイルを pgloader を使用して postgres データベースに変換しています。

これを行うために、postgres データベースを作成しました

pgload コマンド ファイルを作成します。

これで、sqlite ファイルを postgres db にロードできるようになりました。エラーはないと思います。すべてのテーブルとレコードがコピーされますが、Rails アプリケーションを見ると、どのレコードにもインデックス (または ID) がありません。これは、sqlite ファイルをデータベースにロードしたときの出力です。

pgloader のログは次のようになります。

これはレールの問題ですか？ID は保護された属性として動作するため、ID をコピーすることはできないのでしょうか?

Ubuntu で次のコマンドを使用して pgloader をインストールしました。

次のコマンドを使用して、サンプル データベースを mysql から postgrs に移動しようとすると、

次のエラーが表示されます

sampledb データベースは mysql に存在し、資格情報 user: mysqlusr および password: password を使用してログインできます。