問題タブ [biginsights]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
hadoop - アプリにバインドしようとすると、Bluemix の BigInsights サービスが表示されない
Bluemix で 4 つのサービスを作成しましたが、そのうちの 1 つが「Big Insights for Apache Hadoop」です。これを新しく作成したアプリにバインドしようとすると、この BigInsights サービスが表示されませんか? 「新しく作成したアプリにサービスを追加」ウィンドウで？
python - Python ワーカーからのエラー: /usr/bin/python pyspark という名前のモジュールがありません
Yarn で Pyspark を実行しようとしていますが、コンソールでコマンドを入力すると、次のエラーが表示されます。
ローカル モードと糸モードの両方で、Spark で scala シェルを実行できます。Pyspark はローカル モードでは問題なく動作しますが、糸モードでは動作しません。
OS：RHEL6.x
Hadoop ディストリビューション: IBM BigInsights 4.0
スパークバージョン:1.2.1
警告 scheduler.TaskSetManager: ステージ 0.0 でタスク 0.0 が失われました (TID 0、作業): org.apache.spark.SparkException: Python ワーカーからのエラー: /usr/bin/python: pyspark PYTHONPATH という名前のモジュールはありません: /mnt/sdj1/ hadoop/yarn/local/filecache/13/spark-assembly.jar (私のコメント: このパスは Linux ファイルシステムには存在しませんが、論理データ ノード) org.apache.spark.api.python.PythonWorkerFactory.startDaemon(PythonWorkerFactory.scala:163) の java.io.DataInputStream.readInt(DataInputStream.java:392) での java.io.EOFException (org.apache.spark.api で)。 python.PythonWorkerFactory.createThroughDaemon(PythonWorkerFactory.scala:86) org.apache.spark.api.python.PythonWorkerFactory.create(PythonWorkerFactory.scala:62) org.apache.spark.SparkEnv.createPythonWorker(SparkEnv.scala:102) org.apache.spark.api.python.PythonRDD.compute(PythonRDD.scala:70) で org.apache.spark.rdd.RDD.computeOrReadCheckpoint(RDD.scala:280) で org.apache.spark.rdd.RDD org.apache.spark.scheduler.ResultTask.runTask(ResultTask.scala:61) の .iterator(RDD.scala:247) org.apache.spark.scheduler.Task.run(Task.scala:56) org.apache.spark.executor.Executor$TaskRunner.run(Executor.scala:200) で java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) で java.util.concurrent.ThreadPoolExecutor$Worker で.run(ThreadPoolExecutor.java:615) at java.lang.Thread.run(Thread.java:745)
次のように、エクスポート コマンドを使用して SPARK_HOME と PYTHONPATH を設定しました。
誰かがこれで私を助けてくれますか?
答え：
掘り下げた後、pyspark にはそのままで Big Insights 4.0 にいくつかの問題があることがわかりました。BI 4.1 にアップグレードすることが提案されました。
apache-pig - PigLatin の不一致入力 ';' LEFT_PAREN を期待 (IBM BIGINSIGHTS)
素朴な質問で申し訳ありません。私は初心者です。Pig スクリプトがあり、以下のエラーが発生します。
これは私のsciptがどのように見えるかです:
スタックトレースは次のとおりです。
mapreduce - sqoop ジョブの実行中の実行時例外
biginsights で sqoop ジョブを実行しようとしています。Oracle db から hdfs にデータをインポートしています。以下は、マッパーの実行を開始し、しばらくして停止する sqoop コマンドです。
以下はエラーです：
この問題を解決するために私を助けてください。前もって感謝します。
hdfs - Sqoop eval は機能していますが、sqoop import でエラーが発生しています
sqoop eval を実行すると、出力が得られます。しかし、sqoop import を実行すると、次のエラーが表示されます
ビッグインサイトを使用しています。誰でも何が問題なのか教えてください。
hadoop - Flume 1.5 で圧縮ファイルを処理/hdfs シンクに転送できます
Flume 1.5 は、圧縮ファイルを hdfs シンクに処理/転送できます。私はblobdeserializerとcompressedstreamとコーデックをgzipとして試しました。私が使用した設定オプションは次のとおりです