0

複数の txt ファイルをテーブルに継続的に挿入する自動ジョブを設定したいと考えています。

複数の（毎分）.txtファイルを出力し、日付スタンプ、つまり20130921_1755.txt（YYYYMMDD_HHMM.txt）で名前が付けられた複数のデータロガーがあります。また、各レコードの秒単位の日付値を含む DateStamp という名前のフィールドもあります。

私は自分のクエリが何をしたいのかを知っています....

  1. ディレクトリからすべてのファイル名をテーブルに挿入しますALLFILENAMES
  2. 最終テーブルで最大の日付を選択TBLMEASUREMENTS
  3. 最大日付をファイル名に変換 (2013-09-22 17:53:00 から "20130922_1753.txt")
  4. すべてのファイル名を一括挿入 > テーブルからの最大日付ALLFILENAMES

ここにある投稿を使用して、プロセスを既に開始しています: Import Multiple CSV Files to SQL Server from a Folder

テーブルにインポートする必要がある特定のファイルを選択する方法を整理しようとして問題が発生しています。特にこれは進行中の作業であるため、常に DB を調べてインポートされていないファイルを確認し、インポートする必要があります。これまでのところ、複数のファイルをインポートするために機能する私のコードは次のとおりです。

--some variables
declare @filename varchar(255),
        @path     varchar(255),
        @sql      varchar(8000),
        @cmd      varchar(1000)


--get the list of files to process:
SET @path = 'C:\SQL_txt\1_hr\'
SET @cmd = 'dir ' + @path + '*.txt /b'
INSERT INTO  ALLFILENAMES(WHICHFILE)
EXEC Master..xp_cmdShell @cmd
UPDATE ALLFILENAMES SET WHICHPATH = @path where WHICHPATH is null


--cursor loop
declare c1 cursor for SELECT WHICHPATH,WHICHFILE FROM ALLFILENAMES where WHICHFILE like '%.txt%'
open c1
fetch next from c1 into @path,@filename
While @@fetch_status <> -1
  begin
  --bulk insert won't take a variable name, so make a sql and execute it instead:
   set @sql = 'BULK INSERT Temp FROM ''' + @path + @filename + ''' '
       + '     WITH ( 
               FIELDTERMINATOR = ''\t'', 
               ROWTERMINATOR = ''\n''
            ) '
print @sql
exec (@sql)

  fetch next from c1 into @path,@filename
  end
close c1
deallocate c1

LEFT、LEN、および REPLACE をいじって、最大の日付スタンプをファイル名に変換しようとしましたが、うまくいきませんでした。どんな助けや提案も役に立ちます。私はこれを間違っていますか？ありがとう

4

1 に答える 1

0

これは SSIS/Data Tools で行います。

「監視」フォルダーからファイルをインポートし、次を使用してファイルを別のフォルダーに移動します。

  • ForEach ループ コンテナー
  • データ フロー タスク
  • ファイル システム タスク
  • 派生列 (オプションですが、ソース追跡には推奨)

派生列でマップされたファイルパス変数を使用してソース ファイルを示すことができます。同じファイルが監視フォルダーに複数回追加される危険がない限り、毎回「これは既にインポートされていますか」チェックを実行する必要はほとんどありません。

SSIS に関する多くのチュートリアルが利用可能です。ここでは 2 つを示します。

于 2013-09-25T20:25:04.550 に答える