問題タブ [uniq]

/tmp/1 としての私のデータ

走っても何も得られない

これは奇妙ですuniq -d。

どのように使用できますuniq -dか?

シェルスクリプトでそれらを呼び出すときの順序uniqに違いはありますか? sort私はここで時間と空間について話している。

対。

140,000 行のテキストファイルでの簡単なテストでは、最初の方法 (uniq 値を取得してから並べ替える) の速度がわずかに向上しました (5.5 秒対 5.0 秒)。

メモリ使用量の測定方法がわかりませんが…</p>

ここでの質問は次のとおりです。順序は違いますか? または、grepから返された行に依存していますか（重複が多い/少ない）

コマンドの結果を含む多くのファイルがあります: uniq -c some_file > some_file.out

例: 1.out:

2.アウト

これらの結果をマージしたいので、次のようになります。

sort または uniq で処理できると思いましたが、それに関連するオプションはありません。ruby/perl スクリプトを書くのも方法の 1 つですが、コア *nix コマンド (前述の sort や uniq など) を使用して簡単に実行したいと考えています。

編集：明確にするために。元のファイルがなく、*.out ファイルをマージする必要があります。

手伝ってくれてありがとう！

私はこのような.csvファイルを持っています：

overflow@example.comファイル（つまり、上記の例に含まれている行の1つ）から重複する電子メール（行全体）を削除する必要があります。uniqフィールド1（コンマで区切る）のみで使用するにはどうすればよいですか？によるとman、uniq列のオプションはありません。

で何か試しましたsort | uniqが、うまくいきません。

私は Ruby を使い始めたばかりですが、個人的には、次のことは「最小の驚きの原則」に違反していると感じています。つまり、ドキュメントから引用すると、その uniq! 「自分自身から重複する要素を削除します。変更が行われない場合 (つまり、重複が見つからない場合) は nil を返します。」

私には完全に直感に反しているように思えますが、これを説明できる人はいますか? これは、以下に .uniq! を追加して 1 行のコードを記述できるのではなく、最初の行を終了するには、代わりに次の 2 行を記述する必要があります。

それとも、もっと良い方法がありませんか？

編集：

ユニック 了解です！そのオペランドを変更します。これが問題をよりよく示したものです。

私はそのようにユニークだと主張します！作品はそれを完全に無意味で役に立たないものにします。確かに私の場合、指摘したように、最初の行に .uniq を追加するだけです。ただし、同じプログラムの後半で、要素をループ内の別の配列にプッシュしています。次に、ループの下で、配列を「重複排除」したいのですが、あえて「hooks_tested.uniq!」とは書きません。nil を返す可能性があるためです。代わりにhooks_tested = hooks_tested.uniq と書く必要があります

実際、配列を返すメソッドを考案するときは、少なくとも常に nil ではなく空の配列を返す必要があるというのはよく知られた原則であるという点で、これは特にひどい誤機能であると私は主張します。

実際にHiveを使用してHadoopジョブを実行していますが、これuniqは多くのテキストファイルの行に想定されています。reduce ステップでは、各キーの最新のタイムスタンプ付きレコードを選択します。

Hadoop は、map ステップによって出力された同じキーを持つすべてのレコードが、クラスター全体で多くのレデューサーが実行されている場合でも、単一のレデューサーに送られることを保証しますか?

同じキーを持つ一連のレコードの途中でシャッフルが発生した後、マッパーの出力が分割されるのではないかと心配しています。

次のコマンドの違いは何ですか？

たくさんの名前が書かれたテキストファイルを入手しました。1）CASEが異なる（つまりaudiとAuDI）2）複数の文字が異なる（mygoo VS my-goo）アイデアはありますか？

column1 と column2 (スペースで区切られている) に次の内容のテキスト ファイルがたくさんあります。

アドレス0 データ0

アドレス1 データ1

.

.

.

アドレスN データN

すべてのデータ値は一意 (ランダム) ですが、一部のアドレス値は繰り返されます。AWK / sort / uniq を使用して、既に指定されているアドレスを持つ行を削除するにはどうすればよいですか?

基本的に、関連するデータが何であれ、テキスト ファイル内に重複するアドレスがあってはなりません。

最初のフィールドが重複している行のみを印刷しようとしています。たとえば、次のようなデータから:

印刷する必要があります：

(FYI - 私のデータでは、最初のフィールドが常に 1 文字であるとは限りません)