問題タブ [one-hot-encoding]

次のようなデータを考慮します。

OHE 機能を使用してテキスト列を除外したい。

以下が機能しないのはなぜですか？

ドキュメントには次のように書かれています：

マスクを使用していますが、まだフロートに変換しようとしています。

使っても

同じエラー。

また、「インデックスの配列」の場合：

一連の DNA シーケンスに対して 1 つのホット エンコーディングを生成したいと考えています。たとえば、シーケンス ACGTCCA は、転置方式で次のように表すことができます。しかし、以下のコードは、私が垂直形式で好む水平方向の 1 つのホット エンコーディングを生成します。誰でも私を助けることができますか？

コード例:

ただし、コードから出力が得られます。

期待される出力:

ここでロジットに 1 つのホット エンコーディングを導入すると、プログラムは後でエラーを返しますが、どちらも同じ次元を返します。この行をコメントアウトすると、プログラムはエラーを出しません。

コードの残りの部分:

---> 23 卒業生,ノルム = tf.clip_by_global_norm(tf.gradients(cost,tvars),5)

ValueError: 最小長 1 よりも短い長さ 0 で、引数 'values' を 'Pack' Op にリストします。

パッケージ pandas を使えば簡単に実現できることはわかっているのですが、あまりにもまばらで大きい (170,000 x 5000) ため、最後に sklearn を使用して再度データを処理する必要があるため、 sklearnで行う方法。ワンホットエンコーダーを試しましたが、ダミーを「id」に関連付けるのに行き詰まりました。

アップデート：

今、私はここにいて、「id」が失われました。集計を行うにはどうすればよいですか?

sklearn でいくつかの機能をベクトル化していますが、問題が発生しました。DictVectorizer は、データを項目ごとに 1 つの dict キーにエンコードできる場合にうまく機能します。アイテムが同じ列の 2 つ以上の値を持つことができる場合はどうなりますか? たとえば、DictVectorizer は次のようなアイテムで正常に動作します。

しかし、列ごとに複数の値があるこのようなものはどうでしょうか?

ワンホット エンコーディングの戦略は引き続き適用できます。単純に 2 つの a 列が必要です。a=b と a=c です。私が知る限り、そのようなベクトライザーは存在しません! この状況で何をすべきか？独自の MultiDictVectorizer を作成する必要がありますか?

投稿する前に、ここのブログ投稿でこれについて書きました。

Python で、次のような size というデータ フレームの列があるとします。

D から G までの文字は、S から X-Large までのさまざまなサイズを表します。私ができることは、それらを数値で表すことです。

ただし、これは連続データではないため、今後行う他の分析で問題が発生する可能性があります。したがって、私が持っていた別のアイデアは、これを 4 つの列に分割することでした。ここで、サイズのインスタンスは 1 で、それ以外の場合は 0 です。次のようになります。

この種のシナリオに役立つ Python の OneHotEncoder と呼ばれるものについて聞いたことがあります。この問題を解決するためにこれを効果的に使用するにはどうすればよいですか、またはこれについて他にどのような方法がありますか?