問題タブ [uniq]

最初のフィールドに基づいて一意の行を表示し、行の最初の出現のみを出力したい

私がする時：

これは私が望むものではありません。

彼はすべて、いくつかの列を含むファイルを持っています。列 2 の並べ替えを行い、列 1 に uniq を適用したいと思います。同じ列の並べ替えと uniq について話しているこの投稿を見つけましたが、私の問題は少し異なります。sortandを使用して何かを使用することを考えてuniqいますが、方法がわかりません。ありがとう。

Linuxコマンドを使用して、最初の列と2番目の列でソートした引用符付きのcsvファイルを持っています.1列目と2列目で一致する重複を削除したいのですが、どうすればよいですか? uniq では十分ではないようです。

私が持っているもの

私が達成しようとしているのは、ユニークな組み合わせです

順列、平坦化などを試しました。しかし、魔法のルビーコードが見つかりません!

編集 ：

上記の答えは次のようになります

より正確には。

から

取得する方法

これは、一意の値 (1,2,3,4,5,6) の 5 つの配列です。

あなたは質問を変えたようです。もともと、配列の配列が必要でしたが、それぞれが配列のペアを持っていました。今、あなたは三つ子が欲しいですか？

はい、[1,2,3,4] を使用した最初の例は簡単すぎたため、答えは [1,2,3,4,5,6] などのより複雑な配列には適合しません。

現在、Hive を使用してレポートを生成する HDFS クラスターにいくつかのデータがあります。インフラストラクチャは廃止される過程にあり、データに関するレポートを生成する代替手段を考え出すタスクが残されています (タブ区切りファイルとして新しい環境にインポートしました)。

次のフィールドを持つテーブルがあるとします。

• クエリ
• IPアドレス
• ロケーションコード

Hive で実行していた元の SQL クエリは (正確ではありませんが、似たようなものでした)。

上記のクエリの代わりとして機能する、sort、uniq、awk などの標準の UNIX/Linux ツールを使用して、最も効率的なスクリプトを誰かが提供してくれるかどうか疑問に思っていました。

スクリプトへの入力がテキスト ファイルのディレクトリであると仮定します。ディレクトリには約2000個のファイルが含まれます。各ファイルには、次の形式の任意の数のタブ区切りレコードが含まれます。

正規表現を理解していますが、uniqブロックがどのように機能するのかわかりません。

uniq（GNU coreutils 8.5）は、全角ダッシュと全角ダッシュを区別していないようです。

$ echo -e "a–b \ na—b" | uniq -c

この区別を強制する方法はありますか？LC_COLLATEのさまざまな設定を試しましたが、うまくいきませんでした。

次のようなファイルがあるとします：-

最後の2行が同じかどうかを比較し、同じ場合は1を返し、同じでない場合は0を返します。

最後の2つはcat tail -2

uniq のマニュアルページによると

-f オプションは、フィールドをスキップするためのものです

文字をスキップする -s オプション

これら2つのオプションが実際にどのように機能するか、誰かが関連する例で説明できますか?

Web ログから一意の URL を取得し、並べ替える必要があります。grep、uniq、sortコマンドを使用して、これを別のファイルに出力することを考えていました

このコマンドを実行しました：

次に、一意のもののみを取得して並べ替えます。

問題は、ファイルがソートされているにもかかわらず、重複が表示されることです。これは、コマンドが機能したことを意味します。なんで？