問題タブ [udf]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - Pig UDF Java クラス、Amazon EMR の分散キャッシュからファイルにアクセスする
UDF のファイル (sample.txt) にアクセスしようとしています。そのファイルを分散キャッシュに入れて、そこから使用したいと考えています。Pig ジョブを実行するために amazon EMR を使用しています。クラスターの作成中に EMR ブートストラップ アクションを使用してファイル (sample.txt) を HDFS にコピーしています。
bootstrap.sh (ファイルを s3 から hdfs にコピー)
UsingSample.java (sample.txt を使用する UDF)
}
create_cluster.sh (クラスターを作成し、Pig スクリプトを実行するスクリプト)
getCacheFiles() で sample.txt にアクセスしようとすると、FileNotFound 例外が発生します。
私は使っている：
Hadoop 2.4
Pig 0.12
助けてください。
hadoop - Hive UDTF が 2 列を超える出力を受け入れない
私がコーディングしたハイブ UDTF は、指定された出力列の数が 2 であるため、正常に動作します。しかし、すぐに 3 に変更して再デプロイすると、次のエラー メッセージが表示されます。
失敗: SemanticException [エラー 10083]: AS 句で指定されたエイリアスの数が、UDTF によって出力される列の数と一致しません
何か理由はありますか？
これが、初期化メソッドで使用しているコード ブロックです。
プロセスメソッドのフォワードステートメントは次のとおりです
どんな助けでも感謝します。
hadoop - Pig スクリプトで、ある load ステートメントから別の load ステートメントに値を渡す方法
こんにちは、A と BI の 2 つのロード ステートメントがあり、特定の列の値を A から B に渡したいと考えています。次のコードを試しました。
地域列が空です。タイトル列から地域列に値を渡したいです。上記のコードはnullのみを出力します。助けていただければ幸いです。
hive - Pig での Hive UDF の使用
Pig 0.15 で Hive UDF を使用しない理由はありますか?
主にパフォーマンスについて考えていますが、他に理由があれば喜んで伺います。
たとえば、lpad の単純な Java 実装を使用しています。それを維持する必要がありますか、それとも Hive バージョンを使用できますか?
function - 呼び出し中に Teradata で UDF (ユーザー定義関数) が自動的に参照するデータベース
ユーザー定義関数を呼び出すときに、データベースが明示的に言及されていない場合、どのデータベースが考慮されますか? どのデータベースを最初に参照するかを指定する制御設定はありますか?
apache-pig - フィルターの豚 UDF
前月の最後の日付を返すために月の日付を取得する必要があるユースケースがあります。
この前月の最後の日付を使用して、毎日のパーティションをフィルター処理します (豚のスクリプトで)。
日付を取得して前月の最後の日付を返す UDF(GetPrevMonth) を作成しましたが、フィルターで使用できません。
私の udf は入力としてタプルを取ります。グーグルで検索すると、UDFはフィルターに適用できないと書かれています。回避策はありますか？または私はどこかで間違っていますか？
助けが必要です。よろしくお願いします。
c - C への Delphi UDF 関数
次の UDF 関数を Delphi から C に書き直そうとしていますが、PISC_QUAD の代わりにどのパラメータ タイプを使用すればよいか、パラメータ値から月番号を抽出する方法がわかりません。
apache-pig - タプル内の対応する要素を合計するPIG
定数を含むタプルの大きなバッグがありますが、整数の数は不明です (200 以上)。このタプルから対応する要素を合計する方法はありますか?
たとえば、SUM_TUPLES({(1, 0, 1), (2, 1, 0)})を返す必要があり(3, 1, 1)ます。
UDF を Python で作成しましたが、バッグとタプルが非常に大きいため、GC limit exceeded error.
excel - シートコピー時の #VALUE エラー
基本的に vlookup を簡略化した UDF を使用しています。コードは次のとおりです。
シートを (同じワークブック内で) コピーすると、#VALUEエラーが発生することがあります。Excelでセルを「編集」し、何も変更せず、F2andを使用するだけEnterで、エラーは消えます。これは、単にウィンドウを変更したときに発生していました (たとえば、Firefox に変更し、Excel に戻すなど)。そのため、コードでCallerandをたくさん使用しました。Parentときどきシートをコピーするときを除いて、ほぼ完全に修正されています。エラーの原因が見つからないようです。助けてください。
java - 列を追加するための Java udf
地域列を比較してピンコードを追加する Java udf 関数を作成しています。ここに私のコードがあります。
地域は、この adyar、tambaram、pallavaram、chromepet のように見えます...
上記を実行すると、空白の値のみが出力されます。どこが間違っているのかわかりません。助けていただければ幸いです。