問題タブ [biginsights]

HDFS (豚のスクリプトの出力であるファイル) から直接ファイルを大きなシートにロードする際にエラーが発生し、ローカルのハード ディスクにある生データもエラーになります。ファイルをロードし、行数を発行してすべてのデータがビッグシートにロードされているかどうかを確認すると、ロードされる行数が少なくなることがわかりました。ファイルに一貫性があり、適切な区切り記号 (/t またはカンマ区切りのフィールド) があることを確認しました。ファイルのサイズは約 2GB で、*.csv/ *.tsv のいずれかの形式を使用しています。

また、Windows os から直接ファイルをロードするのに疲れた場合、データの実際の行数と一致する行数でファイルが正常にロードされることもあれば、より少ない数の行数でファイルがロードされることもあります。

新鮮なファイルが初めて使用される場合でも、正しい結果が得られることがありますが、次回同じ操作を行うと、いくつかの行が欠落します。

データ全体がロードされていないなどの問題の解決策など、ビッグシートの経験を共有してください。よろしくお願いします

MQ キューに記録されているレコードがあります。それらを取り除いてハイブテーブルに入れる良い方法はありますか?

このガイドラインに従って、BigInsights Federation を Netezza にセットアップしようとしています。

しかし、コマンド create wrapper を実行すると、エラーが発生しました。

[C2-BIGDATA-BIGINS-MGTNODE.VMS2.COM.VN][bigsql] 1> ラッパー nz ライブラリー 'libdb2rcodbc.so' を作成します OPTIONS(MODULE '/opt/ibm/SDAP71/lib/libodbc.so'); SQL Exception(s) Encountered:
[State: 58004][Code: 15]: BIGSQL-GEN-0010 Found an internal error: 'Failed to execute query' create wrapper nz library 'libdb2rcodbc.so' OPTIONS(MODULE '/opt/ ibm/SDAP71/lib/libodbc.so')': 1:8 行目: 予期しないトークン: wrapper'.

エラーがどこから来るか知っていますか？フェデレーション サーバーが有効になっていることを確認するにはどうすればよいですか?

BigSQL で 3 つのフィールドを連結しようとしています。2つのフィールドを正常に連結できます

しかし、3 つのフィールドをそれと連結することはできません (2 つの引数のみを受け入れます)。ネストされた連結を試みました

しかし、これは値を返しNullます。ビューを作成しようとしていますが、select ステートメントのこの部分が機能していません。3 つの列はすべてvarchar、ネストされた連結を文字通り許可されていない限り、どこに問題があるのか​​ わかりません。

現在、ハイブテーブルにデータをインポートしています。使用したテーブルを作成したとき

データにコンマがあるためです。ただし、カンマはまだフィールド区切り記号として扱われていることがわかりました。フィールドを区切るために使用しています。これを回避する方法はありますか? データ内のすべてのコンマをエスケープする必要がありますか?それとも簡単にセットアップする方法はありますか?

サンプルデータ

表に入れると、次のように表示されます

Jrが自分の列を占有し、Alexをテーブルからぶつけました。

ここにあるネイティブ ソフトウェア インストーラーを使用して、IBM BigInsights QuickStart Edition を使用して DOCKER コンテナー クラウド (IBM Bluemix など) で実行する Docker イメージを作成しようとしています。

http://www-01.ibm.com/software/data/infosphere/biginsights/quick-start/downloads.html

問題は、インストール中に、sysctl を使用してアクセスできる一部のカーネル パラメータが正しく設定されていないというエラーが表示されることです。

Dockerfile を使用してそれらを調整すると、次のようなエラーが表示されます。

読み取り専用ファイルシステム

コンテナー クラウドではもちろん制御できないホスト マシンでカーネル パラメーターを設定する必要があるため、BigInsights イメージを作成できるかどうか疑問に思っています。

Dockerfile は次のようになります。

コンテナにアタッチした後、次のコマンドを実行します。

正確なエラーは次のとおりです。

では基本的に、カーネル パラメータの設定などの変更を必要とする SW を Docker 化するにはどうすればよいでしょうか。

よろしくお願いします

ロミオ（キエンツラー）

私のホストは Ubuntu 14.04.2 LTS 上にあり、IBM InfoSphere BigInsights の DOCKER イメージを作成して Bluemix Container Cloud にプッシュするために、最新の centos ベース イメージを使用しています。

私はほとんどすべてを解決しましたが、sysctl を使用してランタイム カーネル パラメータを設定することに固執しています。

もちろん、DOCKER コンテナー内に設定することはできません。次のエラーが発生します。

そのため、ホスト システムでパラメーターを設定しました。

イメージ全体を再構築してコンテナーを再作成しましたが、まだ DOCKER コンテナー内にあります。

何か案は？