1

タブ区切りのファイルがあります：

$ echo -e 'abc\txyz\t0.9\nefg\txyz\t0.3\nlmn\topq\t0.23\nabc\tjkl\t0.5\n' > test.txt
$ cat test.txt
abc xyz 0.9
efg xyz 0.3
lmn opq 0.23
abc jkl 0.5

$ python
>>> from sframe import SFrame
>>> sf = SFrame.read_csv('test.txt', header=False, delimiter='\t', column_type_hints=[unicode, unicode, float])
[INFO] sframe.cython.cy_server: SFrame v2.1 started. Logging /tmp/sframe_server_1479718846.log
>>> sf
Columns:
    X1  str
    X2  str
    X3  float

Rows: 4

Data:
+-----+-----+------+
|  X1 |  X2 |  X3  |
+-----+-----+------+
| abc | xyz | 0.9  |
| efg | xyz | 0.3  |
| lmn | opq | 0.23 |
| abc | jkl | 0.5  |
+-----+-----+------+
[4 rows x 3 columns]

目標は、「X1」で構成された 1 つの一意の行があり、列が「X2」の値である別の SFrame を実現することです。つまり、次のようになります。

+-----+-----+-----+------+
|  X1 | xyz | opq |  jkl |
+-----+-----+-----+------+
| abc | 0.9 | 0.0 |  0.5 |
+-----+-----+-----+------+
| efg | 0.3 | 0.0 |  0.0 |
+-----+-----+-----+------+
| lmn | 0.0 | 0.23|  0.0 |
+-----+-----+-----+------+

SFrameなしでやってみました：

>>> import io
>>> with io.open('test.txt', 'r', encoding='utf8') as fin:
...     for line in fin:
...             if line.strip():
...                     s,t,p = line.strip().split('\t')
...                     matrix[(s,t)] = float(p)
... 
>>> matrix
{(u'abc', u'jkl'): 0.5, (u'abc', u'xyz'): 0.9, (u'lmn', u'opq'): 0.23, (u'efg', u'xyz'): 0.3}

>>> col1, col2 = zip(*matrix.keys())
>>> [[matrix.get((c1,c2), 0.0) for c2 in col2] for c1 in col1]
[[0.5, 0.9, 0.0, 0.9], [0.5, 0.9, 0.0, 0.9], [0.0, 0.0, 0.23, 0.0], [0.0, 0.3, 0.0, 0.3]]
>>> import numpy as np
>>> np.array([[matrix.get((c1,c2), 0.0) for c2 in col2] for c1 in col1])
array([[ 0.5 ,  0.9 ,  0.  ,  0.9 ],
       [ 0.5 ,  0.9 ,  0.  ,  0.9 ],
       [ 0.  ,  0.  ,  0.23,  0.  ],
       [ 0.  ,  0.3 ,  0.  ,  0.3 ]])
>>> SFrame(np.array([[matrix.get((c1,c2), 0.0) for c2 in col2] for c1 in col1]))
Columns:
    X1  array

Rows: 4

Data:
+-----------------------+
|           X1          |
+-----------------------+
|  [0.5, 0.9, 0.0, 0.9] |
|  [0.5, 0.9, 0.0, 0.9] |
| [0.0, 0.0, 0.23, 0.0] |
|  [0.0, 0.3, 0.0, 0.3] |
+-----------------------+
[4 rows x 1 columns]

しかし、それでも目的の SFrame が得られません。一意の列を対応する値を持つ SFrame ヘッダーに変換するにはどうすればよいですか? つまり、次のことを達成します。

+-----+-----+-----+------+
|  X1 | xyz | opq |  jkl |
+-----+-----+-----+------+
| abc | 0.9 | 0.0 |  0.5 |
+-----+-----+-----+------+
| efg | 0.3 | 0.0 |  0.0 |
+-----+-----+-----+------+
| lmn | 0.0 | 0.23|  0.0 |
+-----+-----+-----+------+

これを行うには、もっと簡単な方法が必要です。ユニークな番号を想像してみてください。列要素の数は最大 1,000,000 になる可能性があり、結果の SFrame のサイズは 1,000,000 X 1,000,000 になる可能性があるため、numpy 配列やリストのネイティブ python リストではなく、SFrame または HDF のようなデータ構造が必要です。

4

1 に答える 1

1

あなたがしたいことは、どちらdf.pivot(index='X1', columns='X2', values='X3')かを使用するか実行することによって、パンダで本当に簡単ですdf.set_index(['X1','X2']).unstack('X2')（この投稿の最後を参照）。

どちらも SFrame には存在しないようです。(私は間違っている可能性があります。今まで SFrame を使用したことがありませんでしたが、ドキュメントに証拠が見つかりませんでした)。

目的の結果を得るには、 SFrame.unstack ()とSFrame.unpack( )を使用する必要があります。

from sframe import SFrame
sf = SFrame.read_csv('test.txt', header=False, delimiter='\t', column_type_hints=[unicode, unicode, float])

こぶし、アンスタック:

sf2 = sf.unstack(['X2', 'X3'], new_column_name='dict_counts')
sf2

X1      dict_counts
efg     {'xyz': 0.3}
lmn     {'opq': 0.23}
abc     {'jkl': 0.5, 'xyz': 0.9}

次に解凍します。

out = sf2.unpack('dict_counts', column_name_prefix='')
out

X1      jkl     opq     xyz
efg     None    None    0.3
lmn     None    0.23    None
abc     0.5     None    0.9

最後に、必要に応じて次のように置き換えることができNoneます0。

for c in out.column_names():
    out = out.fillna(c, 0)
out


X1      jkl     opq     xyz
efg     0.0     0.0     0.3
lmn     0.0     0.23    0.0
abc     0.5     0.0     0.9

それを行う別の粗雑な方法は、ピボットするために pandas DataFrame に変換することかもしれませんが、データセットが大きすぎる場合、これは機能しない可能性があります。

import pandas as pd
from sframe import SFrame
sf = SFrame.read_csv('test.txt', header=False, delimiter='\t', column_type_hints=[unicode, unicode, float])
sf = SFrame(data=sf.to_dataframe().pivot(index='X1', columns='X2', values='X3').fillna(0).reset_index())
于 2016-11-21T15:01:19.323 に答える