問題タブ [freebcp]

また、-Dオプションを使用してデータベースをコマンドラインに追加してみました。その接続のデフォルトデータベースは、freetds.conf内のこの唯一のAzureデータベースとして設定されます。

それ以外の場合、SQLAzureへの接続は問題ないようです。FreeBCPを機能させることができません。

これはデータベースとスキーマの混乱のようですが、機能する設定の組み合わせが見つかりません。

私は次のコードを持っています:

これは freebcp プロセスを実行し、「Exit value is 0..」を出力するため、プロセスは終了しますが、停止するだけで return ステートメントを呼び出すことはありません。

Putty でコマンドを実行すると、正常に動作します。問題が何であるかの手がかりはありますか？

ログに記録される内容は次のとおりです。

毎日ビッグデータ (サイズ ~3TB) を処理するプロジェクトに取り組んでいます。データ パイプラインの最初の段階では、 というツールを使用して、MS-SQL サーバーからホスト マシン (Linux サーバー) にデータをコピーしますfreebcp。freebcp の詳細はこちら

Linux サーバーからこのツールを使用して、一連のストアド プロシージャを SQL Server で実行し、データをエクスポートして一括転送します。最近私は、データが巨大な場合 (~200GB)、データ転送がしばらくすると停止することを観察しています。いくつかのコマンド ( sp_who2、およびdbcc inputbuffer(spid)) を実行して、SQL サーバーでのストアド プロシージャの実行を監視しました。この手順で使用される CPU 時間とディスク IO を観察します。これが数分間変化しない場合は、ジョブが停止していると見なし、これらのストアド プロシージャを手動で強制終了して、データ処理タスクを続行します。

このデータ コピーの停止の考えられる理由は何ですか?

SQL サーバーから Linux ホストにデータを一括でコピーするより良い方法はありますか? freebcp の代わりになるかもしれません。この後、このデータを Hadoop ファイル システムにロードし、map reduce タスクを実行します。

freebcpSQL Server にデータを一括コピーするために使用します。整数に切り捨てられる数値を除いて、正常に機能します。データベースの列は であるFLOATため、小数点以下の値を処理できます。

指示

MyTable には 5 つの列があり、最初の列は 2 つの INTEGER で、他は FLOAT です。

からのサンプルmyfile.txt

として保存されます

これを修正する方法は？

注：freebcpUbuntuで使用しています。bcpWindows で使用する場合、ほとんど同じ構文を使用している間、浮動列は正しくエクスポートされます (突き上げ接続に置き換えfreebcpてbcp使用するだけです)。

フォーマット ファイル定義でデータが空白の場合、列の既定値を設定することはできますか? これが私が使用しているコマンドです：

にフォーマット定義がありmyown.fmtます。