問題タブ [tsv]

タブで区切られたファイルから Access データベースに約 30,000 行のデータをインポートする際に必要な速度を得るのに問題があります。ファイルのインポートは、私が作成した VB.net 2010 プログラムから管理されます。

プログラムは現在、各行をループし、各行に対して SQL 挿入ステートメントを発行しています。ただし、これが完了するまでに約 2 時間かかります。[外部データの取得] を使用して同じファイルを手動でアクセスに直接インポートすると、約 30 秒かかります。

MSアクセスにリンクされたデータグリッドビューを作成し、ネイティブ.netコマンドを実行してファイルをデータグリッドビューにインポートし、アクセスするデータをすばやく書き込むことができるかもしれないと考えていましたが、これが可能かどうかはわかりません.

ちなみに、手動インポートはオプションではなく、さまざまな理由から vb.net アプリケーションを経由する必要があります。

物事をスピードアップする方法について何か提案をしてもらえますか?

ありがとうサイモン

MATLAB でタブ区切りのテキスト ファイルから科学表記法を読み取ることができる組み込み関数はありますか?

データの行は次のようになります。

私はtdfread(filename, delimiter)成功せずに試しました。

次のように、「animals.txt」と「colors.txt」の 2 つのテキスト ファイルがあり、各行の 2 つの文字列はタブで区切られています。

「動物.txt」

「色.txt」

次のようなPythonコードを書きたい:

1. 「animals.txt」のすべての行について、最初の列の文字列を取得します (12345、次に 23456、次に 34567)
2. この文字列を「colors.txt」の最初の列の文字列と比較します
3. 一致するもの (12345 == 12345 など) が見つかった場合、2 つの出力ファイルが書き込まれます。

output1 には、animals.txt の行 + クエリ値 (12345) に対応する colors.txt の 2 列目の値が含まれます。

クエリ値 (12345、次に 23456、次に 34567) に対応する、colors.txt の 2 列目の値のリストを含む output2:

巨大なタブ限定ファイル(tsvファイル)をパースしてコンマ区切り値ファイルに変換しようとしています。私が抱えている問題は、tsv ファイル内のすべてのエントリが完全ではなく、一部のエントリが不完全なままで、エントリ間に複数のタブ スペースがあることです。これをcsvファイルに変換するとき、それらの間に「na」を入れて、レコードのそのフィールドにエントリがないことを示します。

たとえば、生徒の記録のサンプルを考えてみましょう (1 タブ = 4 スペース、書式設定が不十分であることはご容赦ください)。

上記の例では、最初のレコードはフィールドのタイトルを示し、すべての行がレコードです。Tom の「Department」フィールドのエントリがなく、Kelsey の「GPA」フィールドのエントリがないことがわかります。私の出力は次のようになります。

私の質問:
1) どうすればこの問題を解決できますか? Python、java、bash、awk など、どのスクリプトでも可能
です。したがって、結果のスクリプトはスペースを数えるべきではありません。

検索インデックス作成のためにデータをフィードすることになるため、これを完全に行うことは非常に重要です。前もって感謝します。

C＃を使用して、Excelの.XLSファイルをtxt-tsv（tab-separated-values）ファイルに変換できますか？

タブで区切られたデータ ソースで Linq2SQL クエリを使用するには?

2 つの tsv ファイルに任意の数の列を含めることができる一般的なコード ベースを作成するのが好きです。linq クエリがプログラムに渡されると、結果のデータが出力されます。

一般的な mySQL スクリプトの初心者。

infile を使用して、自動生成された tsv ファイルをローカルの mySQL サーバーにアップロードします。Windows スケジューラは、ファイル内アップロードを開始するバッチ ファイルを実行します。

問題は、バッチ ファイルがファイル プロセスで実行されるたびに、エントリがテーブル内で複製されることです。

単に書き込むのではなく、それらを追加する方法はありますか? エントリを認識するためにエントリのキーが必要ですか?

すべての助けに感謝します。前もって感謝します。

難問があります。「マルチシリーズ」ギャラリーの例 (申し訳ありませんが、10 担当者で、2 回以上リンクすることはできません) をわずかに変更した例で、この .tsv ファイルを使用するコードがここにあります。期待されるのは、現在コードでプロットされているデータ (「ストリーム」列) が、グラフ化されていないデータ (+Avgstream および -Avgstream) 列と同じ SVG にあることです。ただし、私が行った各 D3.js プロジェクトでは、グラフに直線を配置することはできませんでした。現時点では、このグラフではストリームの列のみがプロットされています。これは、ストリームの結果が、使用しているデータの移動平均の内側または外側にあることを示す簡単な方法です。

これらの行がプロットされない理由についてのアイデアはありますか?

私のクライアントのために perl で小さなスクリプトを書いています。これは、データベースから特定のデータを抽出し、添付ファイルを介してこのデータを含む電子メールをクライアントに送信します。スクリプト自体は問題ではありません。問題はファイルです。標準の .csv ファイルは問題なく、スクリプトは問題なくそれを処理していると思いましたが、データを処理しているクライアントのさらなるソフトウェアには、二重引用符などの区切り記号のない .tsv ファイルが必要です。問題は、データベース データに必要な特殊文字が含まれていることです。たとえば、改行や二重引用符を含むテキストなどです。スクリプトを実行すると.tsvが作成されますが、特殊文字が台無しになるため、何らかの方法でエスケープする必要があります。残念ながら、.csvファイルのように二重引用符を使用することはできません. これに対するより良い解決策はありますか？

ありがとう。