問題タブ [buckets]

200 から 800 までの SAT グレードの二重リンク リストを使用しようとしています。リストからすべての重複を削除する必要があります。つまり、すべての重複を削除して、各成績が 1 回だけ表示されるようにします。

何が悪いのか理解してください。

これは修正されたコードですが、まだ正しく動作しません。これでコンパイルできますが、画面には何も表示されません。ちなみに、最初の数字は決して重複することはできないため、頭を削除する必要はありません...しかし、頭がNULLの場合に備えてそれを処理しました。
また、削除したいセルの前のセルを関数deleteFromListに送信します。それでもうまくいきません。何か案は？ありがとう！

私は gem aws-sdk-ruby を使用しています。ファイル /images/image_a.png を /profile.png にコピーしたいのですが、すべて同じバケット内にあります。

どうやってやるの？

このような質問への回答を探すのに SO が間違った場所である可能性があることはわかっていますが、現時点では、回答と、それを段階的に解決する方法が緊急に必要です。

2、3、5、7、11、17、19、23、29、31 の検索キー値を持つレコードを含むファイルで拡張可能なハッシュを使用しているとします。ハッシュ関数は h(x) = x mod 8 で、バケットは 3 つのレコードを保持できます。

編集: これに対する「想定される」回答があります: http://i.imgur.com/CW8H8vG.png しかし、これが正しいかどうかはわかりません。解決すると、別のハッシュ構造が得られるからです。それが正しければ、誰かが私に理由を説明できますか?

ハイブでのバケット結合の適切な使用例が見つからないようです。
私が見ているように、テーブルAをテーブルBと結合する場合：
バケット結合により、テーブルBを分散キャッシュにロードしながらテーブルAをリデューサーに渡す時間を節約し、各マッパーはテーブルBの対応するバケットとテーブルのバケットを処理しますA.

ただし、テーブル B の分散キャッシュへのロードは単一のタスクによって行われるため、テーブルが大きくなると、これがボトルネックになります。
したがって、テーブル B が単一のタスクに負担をかけないほど小さい場合、小さな最適化で通常のマップ結合を行うのと実質的に同じです。

一方、テーブル B が全体を持つ 1 つのマッパーに収まらない場合は、分散キャッシュへの読み取りプロセスに時間がかかる可能性があります。

最後に、マッパーからリデューサーにテーブル A のバケットを渡す必要がないため、テーブル B を分散キャッシュにロードする時間は価値があると思われますが、テーブル A各マッパーは単一のレデューサーに対応する単一のバケットを読み取るため (テーブルは結合キーによってバケット化されます)、各レデューサーは 2 つの中間出力をフェッチします (テーブルごとに 1 つ、レデューサーが対応するマッパーと同じノード)、それらをマージします。この時点から、結合はマッパーの場合と同じです。

結論として、問題は何がより多くの費用がかかるかだと思います:

1. 1 つのタスクで中程度のサイズのテーブルを分散キャッシュにロードする
2. マッパーからリデューサー (ほとんどローカル) に中程度の (場合によっては大きい) サイズのバケットを多数渡し、2 つのファイルをマージします。これらはすべて並行して行われます。

どう思いますか？誰かがバケットに参加するための良い使い方を見つけることができますか?

s3cmd という AWS S3 用の cmd ツールを使用しています。「/192.168.*/」のような名前のディレクトリ名の前の部分でフィルタリングされたフォルダーのセットを「取得」しようとしています。基本的に、多くのディレクトリを持つ S3 バケットがあり、特定の文字列で始まるいくつかのディレクトリが必要です。これが私がこれまでに持っているものです。どんな助けにも感謝します:)ありがとう！

上記のコードは、/logfiles/ からすべてのディレクトリを取得します。:(

AWS Java SDK を使用しています。だから私は S3 で遊んで、今次のような状況になっています: AWS Explorer にバケットが表示されます。

サイズは 1 です。ただし、リストまたは削除しようとすると、次のエラー メッセージが表示されます。

次のように、Hive で 2 つの大きなテーブル (1 つは 10 億行以上、もう 1 つは約 1 億行) を結合しています。

2 つのテーブルを同じ方法でバケット化し、id ごとにそれぞれ 100 個のバケットにクラスタリングしましたが、クエリにはまだ時間がかかります。

これをスピードアップする方法に関する提案はありますか?

メイン データベースとして redis に依存する node.js アプリケーションを作成しており、ユーザー情報はこのデータベースに格納されています。

現在、ユーザー データ (電子メール、パスワード、作成日など) を という名前のハッシュで保持していuser:(incremental uid)ます。email:(email)そして、値を持つキー(same incremental uid)。

誰かがログインすると、アプリは電子メールに一致するキーを検索してemail:(email)を返し、(incremental uid)でユーザー データにアクセスしますuser:(incremental uid)。

これはうまく機能しますが、ユーザー数が数百万に達すると (可能性はありますが、多少遠い問題です)、データベースのサイズが劇的に増加し、いくつかの問題が発生し始めます。

次のようなハッシュバケットにソートするために使用できる整数に電子メールをハッシュする方法を考えています(疑似コード):

次に、この uid で email を検索する必要がある場合thisguy@somedomain.comは、同様の手順を使用します。

だから、リスト形式の私の質問：

1. これは実用的ですか / より良い方法はありますか?
2. 電子メールを数桁にハッシュするにはどうすればよいですか?
3. これらのハッシュをバケットに整理する最良の方法は何ですか?