問題タブ [fiware-cosmos]

非常に単純な MR ジョブを実行するために、Twitter ストリーミング API から取得した大量のツイートを COSMOS にダンプするための最良の方法は何だろうかと考えています。

コレクション ドキュメントを 1 行に 1 つずつ、おそらく CSV に変換してから、それらを COSMOS に scp することを考えていました。しかし、そこで MR ジョブを一度実行するために HIVE が必要なのか、それともより手動でジョブを実行できるのかはわかりません。これには Python を使用することを考えていましたが、Java を使用する必要はありません。

ありがとう

ソースからの cygnus ビルドを使用しています (最新リリース 0.8.2)。orion サブスクリプションを cosmos.lab.fi-ware.org に送信するように構成しました。cosmos-user と cosmos-password のみを使用すると失敗します。

そのため、oauth-token を使用する必要があります。このようにしてうまくいきますが、私の質問は、このシナリオではアクセストークンを手動で更新し、agent.conf ファイルを変更する必要があるかどうかです。

前もって感謝します

このコマンドを試します

そして、サーバーから curl(52) Empty 応答を受け取ります。私のファイルは HDFS に存在します。

Orion インスタンスを FILAB にデプロイし、情報を Cosmos に保存するために Cygnus inyector を構成しました。

しかし...エンティティの数が大幅に増加するシナリオを想像してみましょう。この架空のシナリオでは、Orion GE の 1 つのインスタンスでは十分ではないため、より多くのインスタンスをデプロイする必要があります。

スケール手順はどうなりますか？最大クォータを考慮すると、次のようになります。

VM インスタンス: 5 VCPU: 10 ハードディスク: 100 GB メモリ: 10240 MB パブリック IP: 1

クォータが変更される可能性があることは理解していますが、無料アカウントの制限はどのくらいですか?

Cosmos Head Node でのハード ディスクの制限はどのくらいですか? (理論上は 5GB クォータ)

単一のパブリック IP を使用して Orion Context Broker のインスタンスをさらにデプロイすることは可能ですか? それとも複数のパブリック IP を要求する必要がありますか? どのように？

要約すると、提案されたシナリオのスケーリング手順と無料アカウントの制限 (可能な最大クォータ) に関する情報を要求します。

前もって感謝します。敬具。

ラモン。

cosmos-gui のインストールを手伝ってもらえますか? あなたはcosmosの背後にいる開発者の一人だと思いますか? 私は正しいですか？すでに Cosmos をインストールしていますが、今度は cosmos-gui をインストールします。以下のリンクで、インストールガイドを見つけました: https://github.com/telefonicaid/fiware-cosmos/blob/develop/cosmos-gui/README.md#prerequisites

サブチャプターの下に「前提条件」が書かれています

ストレージ クラスタ内に 1 人、コンピューティング クラスタ内にもう 1 人、2 人の sudoer ユーザーが必要です。cosmos-gui は、これらのユーザーを通じて、新しいユーザーの作成、HDFS ユーザー空間のプロビジョニングなどの特定の管理コマンドをリモートで実行します。これらの sudoer ユーザーによるアクセスは、秘密鍵によって認証されます。

上記はどういう意味ですか？コンピューティングおよびストレージ クラスタ用の sudo ユーザーを作成する必要がありますか? そのために、MySQL DB をインストールする必要がありますか?

また、サブチャプター「GUI のインストール」の下。</p>

続行する前に、GUI によってアクセスされる Namenodes の RSA キー フィンガープリントを追加することを忘れないでください。Namenodes への ssh アクセスを初めて試みる場合、これらのフィンガープリントは /home/cosmos-gui/.ssh/known_hosts に自動的に追加されます。

上記の意味がわかりません。段階的な計画を教えていただけますか？

あなたが私を助けてくれることを願っています。

JH

Cosmos の WebHDFS API を使用すると、期限切れの証明書応答が生成されます。

この URL を使用: https://cosmos.lab.fi-ware.org:13000/

証明書の有効期限が切れているようです

更新された証明書またはこの問題を回避する方法が必要ですか?

cygnus で構成された Context Broker があり、発生している問題は非常に奇妙です。

これは、Context Broker に新しいタイプの要素を挿入したときに発生し、その要素を cosmos に送信するためのサブスクリプションを持っています。Cygnus はそれを適切に送信し、対応する hdfs ファイルを cosmos に作成しますが、cosmos が Hive テーブルを作成しようとするとエラーが発生します。

それがシグナスのログに書かれていることです。

数時間後、次のメッセージが表示されます。

これら 2 つのイベントの間に、hdfs に追加する必要があるすべてのアクションが追加されますが、エラーが発生するまで追加されません。

Cygnus のバージョン: 0.8.2

オープンコスモスを使用しています。

次の python スクリプトを使用して COSMOS by Hive にクエリを実行します。

次のエラーが生成されます。

トレースバック (最新の呼び出しが最後): ファイル "libra.py"、10 行目、cur.execute("select * from glaquidara_mazzi") 内 ファイル "/Library/Python/2.7/site-packages/pyhs2/cursor.py",行 64、実行中 raise Pyhs2Exception(res.status.errorCode, res.status.errorMessage) pyhs2.error.Pyhs2Exception: 'Error while Compiling statement: FAILED: RuntimeException org.apache.hadoop.ipc.RemoteException: org.apache.hadoop .hdfs.server.namenode.SafeModeException: ディレクトリ /tmp/hive-root/hive_2015-10-07_13-32-30_348_3807878262746902303- を作成できません3. Name node is in safe mode.\nResources are low on NN. Safe mode must be turned off manually.\n\tat org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirsInternal(FSNamesystem.java:2140)\n\tat org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:2114)\n\tat org.apache.hadoop.hdfs.server.namenode.NameNode.mkdirs(NameNode.java:892)\n\tat sun.reflect.GeneratedMethodAccessor586.invoke(Unknown Source)\n\tat sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)\n\tat java.lang.reflect.Method.invoke(Method.java:597)\n\tat org.apache.hadoop.ipc.RPC$Server.call(RPC.java:557)\n\tat org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1439)\n\tat org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1435)\n\tat java.security.AccessController.doPrivileged(Native Method)\n\tat javax.security.auth.Subject.doAs(Subject.java:396)\n\tat org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1278)\n\tat org.apache.hadoop.ipc.Server$Handler.run(Server.java:1433)\n'

これの何が問題なのですか？