問題タブ [accumulo]

私はアキュムロを学ぼうとしています。しかし、直接見つけることができなかったいくつかの質問があります。

• まず、ダウンタイムなしで既存の Accumulo システムに新しいサーバーを追加できますか? はいの場合、新しいノードはマスターによって配置された共有 (DB データ) を持ちます。右？フェイル リカバリがあるので、自動になると思います。
• レプリケーションの数を定義できますか、それともデータ全体が障害回復システム自体と共有されますか? レプリケーションおよびデータ配布プロセスの詳細を知るにはどうすればよいですか?

どうもありがとう ：）

withを使用して、 Apache Sparkジョブ (Java で記述)からAccumulo 1.6にアクセスしようとしています。これを行うには、メソッドを呼び出して ZooKeeper の場所を指定する必要があります。このメソッドは、関連するさまざまなプロパティを指定するオブジェクトを受け取ります。AccumuloInputFormatnewAPIHadoopRDDAccumuloInputFormatsetZooKeeperInstanceClientConfiguration

ClientConfiguration静的loadDefaultメソッドを呼び出してオブジェクトを作成しています。このメソッドはclient.conf、デフォルトをロードするファイルをさまざまな場所で検索することになっています。見えるはずの場所の 1 つが$ACCUMULO_CONF_DIR/client.conf.

ACCUMULO_CONF_DIRそのため、 Spark がジョブを実行するときに表示されるように環境変数を設定しようとしています (参考までに、yarn-clusterデプロイ モードで実行しようとしています)。私はまだそれを成功させる方法を見つけていません。

これまでのところ、私は試しました：

• setExecutorEnv("ACCUMULO_CONF_DIR", "/etc/accumulo/conf")を呼び出すSparkConf
• ACCUMULO_CONF_DIRでのエクスポートspark-env.sh
• spark.executorEnv.ACCUMULO_CONF_DIRでの設定spark-defaults.conf

それらのどれも機能していません。を呼び出す前に環境を印刷するとsetZooKeeperInstance、ACCUMULO_CONF_DIR表示されません。

関連する場合は、すべてのCDH5バージョンを使用しています。

これが私がやろうとしていることの例です（インポートと例外処理は簡潔にするために省略されています）：

AuthorizationsAccumulo では、および/またはサーバー側の反復 子によってどのレコードが返されるかを強制できます。

MongoDb でこの種のセキュリティを強化するために、どのようなメカニズムが用意されていますか? 集約パイプライン用のコマンドがあることは知っていますが、$redactそれはユーザーが独自のクエリを制限することに依存しています。

また、更新するのに十分な権限を持っていない人がドキュメントを更新しないようにするにはどうすればよいでしょうか?

リモート ホストから Accumulo (1.6.1) に接続すると、Zookeeper は tservers が localhost:9997 にあると報告します。

元：

Accumulo インスタンスがあり、一部のテーブルには、現在のユーザーが持っていない可視性トークンで書き込まれたデータがあります。さまざまな理由から、すべての可視性文字列/トークンがテーブル内にあることはわかりません。このため、孤立したデータがあります。Accumulo ルート ユーザーまたは他のユーザーが、トークンが割り当てられていなくても、特定のテーブル内のデータの可視性文字列が何であるかを判断する方法はありますか?

カスタム イテレータを作成しようとしていますが、利用できるチュートリアルがないため、Accumulo github ページで提供されているコードを調べました。

そこで、すべてのクラスが SortedKeyValueIterator を実装し、その関数をオーバーライドすることがわかりました。

これらの関数の役割と、SortedKeyValueIterator を実装する新しいクラスを作成するときにこれらの関数をオーバーライドするときのアプローチは何ですか。

これは私が理解しようとしていた RowFilter クラスのサンプル コードです。

このコードが何をするのか、別のクラスに SortedKeyValueIterator を実装させたい場合、これらの関数をどのようにオーバーライドすればよいのかを知りたいです。

Accumulo に次のようなテーブルがあるとします。

そして、このテーブルに SummingCombiner を適用して行 " a cf1 cq1 2" を挿入すると、結果は次のようになります。

私が知りたいのは、列修飾子のような特定のフィールドに対して集計を実行するのに役立つ反復子があるかどうかです。

つまり、「 」のようなクエリを実行できますかSum of the values of those rows where column qualifier is cq1。

そして、この種のクエリ用の既製のイテレータがない場合、カスタムのイテレータを作成するにはどうすればよいでしょうか?

WholeRowIterator を使用して行をフィルター処理した後、列をフィルター処理しようとしています。これは、保持する行を決定するのに役立つが、スキャンによって返されるデータには役立たない列を削除するためです。

WholeRowIterator は、RegExFilter などの別の反復子のソースとして適切に機能していないようです。キー/値が WholeRowIterator によってエンコードされていることはわかっています。

この反復子スタックを機能させるための解決策はありますか?

ありがとう。