問題タブ [database-scan]

簡単な質問ですが、Google で適切な説明が見つかりませんでした。Set Statistics IO ON を使用すると、管理スタジオのメッセージ ウィンドウに論理読み取りとスキャン カウントが表示されます。私が持っている場合：

tbl例、スキャン数 5、論理読み取り 20

スキャン数とは何を意味しますか?

ファイルをサイトにアップロードするサイトのアイデアがあります。しかし、私が望んでいるのは、そしてそれが可能かどうか疑問に思っているのは、ユーザーが「参照」をクリックしてファイルを選択したときです.サイト。このサイトで質問をすると自動的に表示される「関連する質問」に似ています。

mysql selectステートメントを実行すると、以前に非常に多くの行を削除したため、非常に時間がかかります。

テーブルを上からではなく下からスキャンを開始する方法はありますか？

ここでこの質問をする必要があるかどうかはわかりませんが、ここにあります。私の会社では、PIN カード (電話カードに似ています) の形式でソフトウェア プログラムをリリースする準備をしています。各カードには、スクラッチ パネルの下に PIN があります。PIN は、当社の Web サイトからソフトウェア プログラムをダウンロードするために使用できます。

盗難防止をどうするかを考える必要があります。テレフォン カードの場合、レジでスキャンするまで PIN は機能しません。このセットアップを取得するにはどうすればよいですか? 「特別な」データベースなどをセットアップする必要がありますか?

カードがレジでスキャンされたかどうかはどうすればわかりますか? POS はそれをデータベースに送信しますか?

非常に単純な例-1つのテーブル、1つのインデックス、1つのクエリ：

私に与える：

代わりにインデックススキャンを実行しないのはなぜですか？私は何が欠けていますか？

私のキーには、num、type、nameの3つのコンポーネントがあります

'type'はAとBの2種類のみですが、numは0,1,2 ..、30などのより多くの値を持つことができます

numとtypeに関してデータをフェッチする必要があります。つまり、指定されたnumとtypeのキーを持つすべての行をフェッチする必要があります。

データは1.num|type|name または2の形式で保存できます。type|num|name

部分的なキースキャンを使用する場合、HBaseがデータをスキャンする方法を検討します。これは、データを保存するための最良の戦略ですか？

これが私の部分的なキースキャンを設定する方法です：1の場合。

2の場合。

HBase をシングルノード モードで使用しています。テーブル内の行が膨大です。Java API を使用して、すべての行のすべての列を順番に読み取る必要があります。ただし、Get 操作と Scan 操作は行全体を返します (結果には行のすべての列が含まれます)。大量の RAM が必要です。では、一部の行が使用可能な RAM を超えている場合はどうすればよいでしょうか? 列を 1 つずつ順番に読み取ることはできますか?

次のようなシナリオ: hbase テーブルには、さまざまな行にさまざまな列があります。たとえば、row1 には列 fm:a、fm:b、fm:c があります。

したがって、スキャンを使用して、行に fm:a と fm:b の両方の列があるかどうかをテストしたいと考えています。上記の場合、row1 を返したいだけです。

hbase で Filters を確認しましたが、これを Filter レベルで行うと、パフォーマンスが低下するようです。何か案は？

必要な列が入力されていない行をスキップするフィルターをHBaseScanオブジェクトに配置しようとしています。最初にスキップフィルターを使用する必要があると思いますが、その後困惑します。パッケージの概要には、列が存在するかどうかについては何も表示されません。

列値フィルターを使用して、問題の列がnullまたは空白かどうかを確認する必要がありますか？また、フィルターが列（ColumnCountGetFilterなど）を返すのはなぜですか？javadocsのコレクションだけではないフィルターについてもっと学ぶために誰かが私に向けてくれるガイドや何かがありますか？

私は Hadoop を初めて使用するので、質問に対する答えを見つけることができません。HBase から読み取り、単純なテキスト ファイルに書き込む map reduce ジョブを作成したいと考えています。

HBase には、ID を表す列があります。ここで、HBase テーブルに含まれるすべての行を処理するのではなく、maxId と minId の間の行のみを処理したいと考えています。

(scan.setFilter)リクエストに一致しない行をフィルタリングできるように、フィルターを使用できる可能性があることがわかりました。

これは私の最初の Map Reduce ジョブなので、しばらくお待ちください :-)

スターター クラスを取得しました。ここで、ジョブとスキャン オブジェクトを構成し、ジョブを開始します。

さて、私の最初の試みは次のようになります：

まあ、これが正しい方法かどうかはわかりません。また、構成オブジェクトを使用して minId と maxId を Map Job に渡すことができることも読みましたが、方法がわかりません。

その上、私はその後何をしなければなりませんか？通常は、ジョブを開始しinitTableMapperJobてスキャン オブジェクトを渡すだけです。ResultScanner について読んだことがありますが、必要ですか? MapReduce フレームワークは正しい行を自動的にマップ ジョブに渡すと思っていましたが、正しいですか?