問題タブ [distributed-cache]

残念ながら、MSDN ドキュメントは明確ではありません。キャッシュクラスターに3つのサーバーがあるとしたら、それを知りたいです:

キャッシュサーバー1

CacheServer2

CacheServer3

次に、アプリケーションの web.config または app.config でこれらの各サーバーを次のように指定する必要があるのはなぜですか。

?

リードホストがある場合（デフォルトではそれぞれだと思います）、クラスター全体でデータを管理/配布するのは確かですか？これは、新しいノードがクラスターに追加された場合、リード ホストが適切と思われるすべてのノードにデータを単純に分散できるのではなく、アプリの構成にホスト エントリを追加する必要があることを意味します。

構成ファイルでリードホストのみを指定すると、そのリードホストがクラスター全体にデータを分散すると思いました。

私は何かを逃していますか？

データがクラスター全体に分散されているかどうかを確認するにはどうすればよいですか?

hazelcast と hibernate を使用して、分散キャッシュ機能を確認したいと考えています。Hazelcast は、2 番目のレベルのキャッシュ用に hibernate との統合を提供しています。hibernate で hazelcast 分散キャッシュ機能を確認するにはどうすればよいですか。

分散キャッシュを使用するためのチュートリアル hereに従っています。Hadoop2.2 との互換性を持たせるために、コードに若干の変更を加えました。

loadStopWordsメソッドが呼び出されると、IO 例外がスローされることがわかりました。

にstop_words.txtがコピーされていることを確認しましたHDFS。ここでは、わかりやすくするためにマッパーとレデューサーのコードを省略しています。

これが私のコードです：

糸モードで実行される Hadoop cdf4.7 を使用しています。MapFile があり、hdfs://test1:9100/user/tagdict_builder_output/part-00000 2 つのファイルindexと data

次のコードを使用して、それを distributedCache に追加しました。

そして Mapper のセットアップで MapFile.Reader を初期化します：</p>

ただし、FileNotFoundException がスローされます。

また、パスとして試し/user/tagdict_builder_output/part-00000たり、シンボル リンクを使用したりしました。しかし、これらも機能しません。これを解決するにはどうすればよいですか?どうもありがとう。

Web ログを分析するための MapReduce ジョブを作成しています。私のコードは、IP アドレスを地理的位置にマップすることを目的としており、そのために Maxmind Geo API ( https://github.com/maxmind/geoip-api-java ) を使用しています。私のコードには、IP と場所の一致を含むデータベース ファイルを必要とする LookupService メソッドがあります。分散キャッシュを使用してこのデータベース ファイルを渡そうとしています。私は2つの異なる方法でこれをやってみました

ケース1:

HDFS からファイルを渡すジョブを実行しますが、常に「ファイルが見つかりません」というエラーがスローされます。

また

ドライバー クラス コード:

マッパー クラス コード:

ケース 2: -files オプションを介してローカル ファイル システムからファイルを渡すことにより、コードを実行します。エラー:行 LookupService cl = new LookupService(database_path) で Null ポインタ例外が発生しました

ドライバーコード:

マッパー コード:

仕事を遂行するには、すべてのタスク トラッカーでこのデータベース ファイルが必要です。誰でも正しい方法を教えてもらえますか?

DistributedCacheを手に入れようとしています。2 つのノードで Apache Hadoop 1.2.1 を使用しています。

-libjarsを使用してサードパーティの jar を使用する方法を説明する他の投稿で単純に拡張されたClouderaの投稿を参照しました。

ノート：

私のjarには、jarライブラリは含まれていません。- Hadoop コアも Commons lang もありません。

コード ：

Mapper クラスはナイーブで、Apache Commons の StringUtils を使用しようとしているだけです (hadoop ではありません)。

私が使用するコマンド：

私が得る例外:

Cloudera の投稿では次のように言及されています。

しかし、そのパスでは、 commons-lang3-3.1.jar を見つけることができません

私は何が欠けていますか？

既存のシングル テナント アプリケーションをマルチテナント アプリケーションに変換する作業を行っています。分散キャッシングは私にとって新しいものです。既存のキャッシュされたオブジェクトから複製されたオブジェクトを生成する .NET キャッシュを使用する既存のプリミティブ ローカル キャッシュ システムがあります。Redisの活用を検討しています。

Redis は、ローカルに加えてネットワーク上でキャッシュして無効化し、ローカル プリミティブ キャッシュのすべての利点を置き換えることができますか? それとも、必要なオブジェクトがローカル キャッシュにない場合、Redis 分散キャッシュを利用した階層型アプローチを持つことが理想的なアプローチになる可能性がありますか? 後者は、データが更新されたときにローカルキャッシュに対して期限切れ通知を行う必要があることを意味すると思います。そうしないと、サーバーに古い一貫性のないデータが含まれる可能性があります

有効期限通知のある一連のローカル キャッシュも分散キャッシュとしての資格があるように思われるため、Redis の構成方法と、リクエストを処理するサーバー全体に分散されるか、独自のクラスターに存在するかについて、ここで少し混乱しています。 .

ローカルと言うとき、データのためにネットワークを経由する必要がないことを暗示しています。