問題タブ [jjaql]

IBMの資料によると-http://publib.boulder.ibm.com/infocenter/bigins/v1r1/index.jsp?topic= % 2Fcom.ibm.swg.im.infosphere.biginsights.doc%2Fdoc%2Fc0057749.html Jaqlの最上位オペレーターのデフォルトの順序は昇順です。しかし、実行すると、デフォルトの順序が降順であることがわかります。BigInsightsバージョン1.4を使用しています。これがドキュメントの問題なのか、このように見える不一致の背後にある他の理由なのかを誰かが知っているのだろうかと思っていました-

適切なパスを指定してhdfsからファイルを読み取ると、ファイルは正常に読み取られますが、jaqlの変換演算子を使用しようとすると、以下のような例外がスローされ、JAQLシェルでコードを実行しようとすると、例外がスローされます。 job.jarのですが、jarを追加した後でも、例外がスローされます。どういうわけかJAQLが既存のhadoopクラスターで適切に構成されていないこと、または例外が他の原因によるものであることを誰かが知っている場合はどうなりますか？

私のコードは次のとおりです。

私が行方不明になっているのは誰か知っていますか？

私はhadoopの初心者ですが、mapreduceジョブでjsonを読むのを手伝ってくれますか?

私はググったところ、jaqlがjsonの読み取りに適していることがわかりましたが、マップ削減ジョブで実装する方法に関するドキュメントは見つかりませんでした。

map reduce での json の読み取りをサポートする他のフレームワークはありますか?

これに関する提案はありますか？

前もって感謝します

私はHadoopとPigの両方に非常に慣れていません。私はいくつかの単純なプログラムを実行できましたが、XML ファイルの一部の形式が正しくない場合に XML を処理するのが面倒でした。

XMLLoader('tag') を使用して、xml ファイルからすべてのタグを取得できます。ただし、1 つが欠落している場合、適切に形成されたクローズ タグ ピッグはその 1 つで停止します。例えば

これは、最初の有効なタグのみを取得します。現在、私は JAQL の経験があり、エラー レコードを無視して、アプリケーションが 2 番目のタグを取得できるようになりました。

私の質問は、JAQL ではなく、Pig を使用して XML の不適切なフォーマットを処理する方法でしたか?

私はjaqlの初心者です。多くのドキュメントが見つかりません。jaql は組み込みのキャストをサポートしていますか。または、キャスト用に Java udf を作成する必要があります。私は基本的にintをstringに変換したいと思っています。

JAQL Shell には、HDFS の場所に書き込む変数があります。変数は書き込み関数を使用し、HDFS の場所に書き込みます。

さらに 2 つの定数文字列を追加したいと考えています。それ、どうやったら出来るの？

私はJAQLで次のことを達成しようとしていますが、立ち往生しています。

タブ区切りのデータを含むファイル data.tsv と、ファイル data.tsv の「ヘッダー」に対応する、タブ区切りの値を含む 1 行を含むファイル header.tsv の 2 つのファイルがあります。

私が達成したいのは、次を使用して data.tsv を読み取ることです。

このためには、スキーマ定義である schema_json が必要です。ファイル header.tsv からこの schema_json を作成したいと思います (そして、すべてのフィールドにタイプ "string" を割り当てます)。

header.tsv の読み取りは簡単で、typeのレコードheader_record = {"header1": string, "header2":string, ....}にも挿入できます。ただし、jaqlレコードの header_record をschema: 型のオブジェクトに変換するにはどうすればよいschema_json = schema {"header1":string,"header2":string, ....}ですか?

HDFS 内に保存されている json ファイル (サイズ 2 ～ 3 GB) があります。私のハエはこのフォーマットのように見えます

このjsonファイルをシーケンシャルファイルに変換してjsonオブジェクトを読み取るマップリデュースを作成しようとしています。gsonを使用してより高速に実行する必要があるため、Javaオブジェクトに変換するには時間がかかります。私はそれについてグーグルで検索し、JAQL が同じことを実行できることを発見しましたが、それを実行するための Java MR コードを取得できませんでした。JAQL 用の Maven jar さえ見つかりませんでした。サーバーで明示的に設定することはできません。Javaコードを使用してそれを達成する方法はありますか?

JAQL の代替ソリューションはありますか? 2011年以降更新されていないことがわかりました。結合、グループ、フィルターを備えたJSONクエリ言語が必要で、Javaに埋め込むことができます。