問題タブ [data-import]

.dat および .sps ファイルを使用して R にデータをインポートしようとしています。.dat ファイルにはヘッダーがなく、もちろん .sps ファイルに含まれるさまざまな長さの列があります。また、欠損値も含まれています。spss.fixed.fileパッケージmemiscから使用しようとしましたが、次のように指定すると:

次のエラーが表示されます。

spss.parse.variable.labels(varlab.file) のエラー:「変数ラベル」ステートメントが多すぎます

誰かがこのコマンド/パッケージを以前に使用したことがありますか? すべての情報が同じ .sps ファイルに含まれていることを考えると、columns.file と varla.file の両方が同じファイルであってもよいかどうかわかりません。どんな助けでも大歓迎です！

連絡先、予定などの多くのユーザー データを処理する GAE で Python を使用してアプリケーションを構築する...

ユーザーが他のアプリケーションから古いデータをインポートできるようにしたいと考えています。たとえば、予定は次のようになります。

私は、この種の状況を処理するために受け入れられている慣行に慣れていません。また、リクエストに 30 秒以上かかることができないため、特に Google App Engine でこれを処理する際に問題が発生します。

理想的には、ユーザーが自分のデータの CSV ファイルを Web ページ経由でアップロードできるようにすべきだと思われますが、アプリ エンジンでこれを行う良い方法がよくわかりません。

私が考えることができる別の方法は、ユーザーがテキストを HTML テキスト領域に直接カット アンド ペーストできるようにすることです。次に、javascript を使用してデータを反復処理し、一度に 1 行または小さなチャンクでサーバーに POST することができます。これは私には大ざっぱに聞こえますが。

これを処理するための「良い」方法についてのアイデアはありますか?

本当にありがとう！

いくつかの CSV を Excel スプレッドシートにインポートする必要があります。CSV の行/列番号はそれぞれ異なります。問題は、一部の値が のような長い数字の文字列であることです
341235387313289173719237217391。

Excel はこれらの値を (2 倍の) 数値として扱い、データが失われます。

それを解決する私の方法は、次のvba関数を使用して仕事をすることです:

問題はパフォーマンスです。[データ] -> [テキストから] を介してデータをインポートしたり、CSV を直接開いたりするよりもはるかに時間がかかります。

より効率的に行う方法はありますか？

bcp インポート ツールの使用に関して小さな問題があります。これは、.csv データ ファイル (| 文字の場合はフィールド区切り文字) とフォーマット ファイルがある場合です。テーブルにデータを正常にインポートできますが、データ ファイルに空の文字列ではなく NULL 値をインポートしています。データファイルのサンプルレコードとして以下を検討してください

以下のような出力が得られました

しかし、私は以下の出力を期待しています

私のテーブル定義では、デフォルト値は空の文字列です。これは、データ ファイル (bcp データ エクスポート コマンド) またはデータ インポート bcp コマンドの問題によるものです。

これは、データをインポートするために使用したコマンドです bcp [database].[table] in M:\data\xx.csv -f M:\format\XX.FMT -S serverName -T

感謝とすべての返信は大歓迎です。

BigQueryのインポートドキュメントから、

注: Null 値は許可されていません

したがってnull、BigQuery インポート用の json 形式のデータでは許可されていないと思います。ただし、null値は通常の ETL タスクでは実際には非常に一般的です (データが欠落しているため)。そのようなjsonソースファイルをインポートするための良い解決策は何ですか? 私のデータにはネストされた構造が含まれていることに注意してください。そのため、値への変換CSVや使用を好まないことに注意してください。,,null

私ができると思う1つの方法は、すべてのnull値をそれぞれ異なるデータ型のデフォルト値に置き換えることです。

• 文字列: null-> 空の文字列
• 整数: null-> -1
• フロート: null-> -1.0
• ...

しかし、私はそれが好きではありません。より良い選択肢を探しています。

bq loadところで、値を含むjsonファイルを使用しようとしましたnull。以下のエラーが表示されます。

nullこれは使い方の目安だと思いますが、正しいですか？

編集null:すべてのフィールドを削除すると、うまくいくようです。これがデータの扱い方だと思いnullます。データ フィールドを使用することはできませんがnull、含めることはできません。nullそのため、未加工の json のすべてのフィールドを削除するためのフィルタリング コードが必要です。

iCalendar gem を使用してiCal ファイルからイベントをインポートする rake タスクのセットアップがあります。iCal には、標準の .ics フィールドに加えて、いくつかのカスタム フィールドも含まれています。それらの値もインポートすることは可能ですか?

問題なく処理できるiCalファイルの次のような行：

この問題は、次のような行で発生します。

カスタムの「イベントの場所」フィールドはどのように参照すればよいですか?

これまでのコードは次のとおりです。

私のデータファイル：votes.txtは、次と同じ行で構成されています。

各エントリはスペースで区切られています。現在、19行のサンプルがあります。

田畑：

この演習には使用されていません。

foreachのループごとに、$campaign変数と$choice変数がswitchステートメントを介して実行され、candidate_idとcampaign_idの番号が定義されます。これらの外部キーは、候補とキャンペーンテーブルまたはキャンペーンテーブルにマップされます。

データベースモデルについては、 http ：//acookson.org/wp-content/themes/cookie_23112012/img/sms_voting.pngを参照してください。

すなわち

投票.txtでnull値が検出されると、$errors変数がインクリメントされます。

スクリプトはvotes.txtを正常にループしているように見えますが、初期化に失敗しています：$campaign_idおよび$candidate_id変数または。完了すると、errors=19が端末に出力されます。サンプルデータvotes.txtの行の総数。つまり、このファイルのすべての行をデータベースに挿入できませんでした。

これを確認します。

スクリプトは構文エラーを報告しません。したがって、それはより低いレベルです。スイッチがなくても正常に動作します。したがって、それはそれをいくらか絞り込んだ。スイッチの問題はわかりませんが、ここでアドバイスを探しています。

OleDb を使用して datagridview から SQL Server データベースに Excel シートを挿入しようとしています。

私が使用するコード：

私のデータベース名は :mohammedで、テーブル名はtest2 つの列firstnameでlastname、Excel シートの列はfnameand lname..

問題は、コードを実行し、button1 をクリックしたときに button2 から Excel シートを挿入した後、ウィンドウ エラーが発生したことです。

vshot32-clr2.exe が動作を停止しました

何か助けてください??

最初の列にhotel_idを含む（巨大な）csvファイルをインポートしようとしています。このコードでは、SQLテーブルのデータ型を整数にします。

しかし、これは機能しません（無効なデータ型エラーが発生します）、何かアイデアはありますか？

CSVファイルは次のようにフォーマットされています。

そして、私が得ている警告は次のとおりです。

更新：実際にインポートされているvarchar-fieldsには、各文字の間にnul値が含まれていることがわかりました。したがって、これがおそらく問題の原因です（？）（バイナリの値を見ると、それぞれの間に00フィールドがあり、テキストとしてaNULbNULcNULどうすればこれを回避できますか？

すべての XML ファイルを他のサーバーに保存し、別のサーバーに SOLR をインストールして構成しました。これらの XML ファイルを SOLR にインデックス化するにはどうすればよいですか。Nutch を確認しましたが、主な目的は html ページをクロールしてインデックスを作成することです。クロールする必要はありません。これらのファイルはすべて、他のサーバーの特定のパスにあります。SOLR でこれらの XML ファイルのインデックスを作成するだけです。SOLR4 をインストールして構成しました。

誰かがこのようなことをしたことがあるなら、その方法を教えてください。ありがとうございました