問題タブ [datastax]

私はCassandraデータでPigを使用して、命令的に書くことはほとんど不可能な、あらゆる種類の驚くべきグループ化の偉業を成し遂げてきました. 私は DataStax の Hadoop と Cassandra の統合を使用していますが、これは非常に優れていると言わざるを得ません。そんな奴らに脱帽!!

私はかなり小さなサンドボックス クラスター (2 ノード) を持っており、このシステムをいくつかのテストに使用しています。~53M 行 (それぞれ約 350 バイト) の CQL テーブルがあり、Mapper が後でこれらの 53M 行を処理するのに非常に長い時間がかかることに気付きました。ログを調べ始めたところ、マップが繰り返し流出していることがわかります (マッパーから 177 の流出を見ました)。これが問題の一部だと思います。

CassandraInputFormat と JobConfig の組み合わせは単一のマッパーのみを作成するため、このマッパーはテーブルから 100% の行を読み取る必要があります。私はこれを反平行と呼んでいます:)

さて、この写真には次のような多くの歯車が働いています。

• 2 つの物理ノード
• Hadoop ノードは「Analytics」DC (デフォルト構成) にありますが、物理的には同じラックにあります。
• LOCAL_QUORUM を使用してジョブを表示できます

より多くのマッパーを実行できるように、Pig でより多くの入力分割を作成する方法を教えてもらえますか? 23 スロットあります。常に1つだけを使用するのは残念です。

それとも、私は完全に怒っていて、問題を理解していませんか? 私は両方の種類の答えを歓迎します！

Windows 8 で DataStax Cassandra Community Edition を使用しています。http://www.datastax.com/2012/01/getting-started-with-apache-cassandra-on-windows-the-easy-仕方

Windows には、1. CLI と 2. CQL シェルの 2 つのコマンド ライン ユーティリティがあります。両方の構文は異なります。たとえば、ヘルプ メニューから、キースペースを作成するには、CLI => キースペースを作成し、CQL シェルでは => CREATE_KEYSPACE であることがわかります。

ただし、ドキュメントによると、次の行は CQL シェルではうまく機能しますが、CLI ユーティリティでは例外が発生します。

これは食い違いですか？「キースペースの作成」スタイル ステートメントは、ヘルプ メニューにあるように CLI で機能するはずですが、ヘルプ メニューの構文が CREATE_KEYSPACE である CQL シェルで機能します。

datastax Enterprise で datastax クラスターを作成しようとしています。ノードの Cassandra.yaml を変更し、ノードで Cassandra と opscenter を開始しました。

webbroser 経由で opscenter に接続できます。しかし、「クラスターの追加」を実行してその特定のホスト IP を入力しようとすると、「クラスターの作成中にエラーが発生しました: クラスターに接続できません」というエラー メッセージが表示されます。

opscenter ログに以下のテキストが表示されました

誰でもこれを修正するのを手伝ってもらえますか?

ジェニッシュ

Windows マシンで Cassandra クラスターの 2 つのノードをセットアップしようとしています。基本的に、私は 2 つの Windows マシンを持っています。両方のマシンに、Datastax から Cassandra 1.2.11 をインストールしました。このチュートリアルに従って、 2 つのノードの Cassandra クラスターをセットアップしました。

この 2 台のマシンに Cassandra をインストールした後、これら 2 台のマシンで Cassandra サーバー、DataStax OpsCenter、および DataStax OpsCenter エージェントのサービスを停止しました。

そして、yamlファイルに変更を加え始めました-

私の最初のノードの詳細は -

私の 2 番目のノードの詳細は -

サーバーのサービスを開始すると、両方のサーバーが適切に開始されます。しかし、どういうわけか、2 つのノードのクラスターを形成していませんか? ここに欠けているものはありますか？

Machine-Aノードツール情報-

Machine-B ノードツール情報-

私のラップトップは両方とも Windows 7 64 ビットを実行しており、同じ Wi-Fi ネットワーク上で隣同士に座っています。

Cassandra のカウンターを更新する必要がある Python で記述されたスクリプトがあります。カウンターを修正するバッチのように機能します。

スクリプトが行うことは次のとおりです。データベースにあるはずの実際の値を取得し、データベースに保持されている現在の値を取得し、値の差を計算し、最後に特定の行キーに挿入コマンドを送信して、差を渡してカウンターを更新します。

すべて正常に動作します。正しい値と差分を取得しましたが、挿入コマンドの後、行キーの値が期待どおりではありません。

diff=5000 を渡して挿入コマンドを送信したので、期待される新しい DB 値は 35000 になるはずです。そのような値になる可能性のある値と演算子の組み合わせはないため、意味がありません。

そして、スクリプトを再度実行すると、最終的に永続化された値は正しいです。後で再試行すると、最終的に保持された値が再び間違っているように見えます...

誰でもこれで私を助けることができますか? 同じスクリプトが正常に動作することもあれば、異常な値が持続することもあります。

ありがとうございました ！

データをロードしてタプルを作成しています:

後でタプルの名前を変更したいので、

可能性はありますか？

2 ノード クラスターに 147.968 行 (「nodetool cfstats」を表示) の ColumnFamily があります。

Hadoop ジョブを実行すると、「入力レコードのマップ」に 90.174 行しか表示されませんか? 私のHadoop CQL入力構成は次のとおりです。

他に設定することはありますか？