fuzzywuzzy モジュールを利用して 2 つの pandas データフレームを「マージ」する muzz という関数を作成しました。うまく機能しますが、大きなフレームではパフォーマンスがかなり悪くなります。抽出/スコアリングを行う私の apply() を見て、それをスピードアップできるアイデアがあれば教えてください。
import pandas as pd
import numpy as np
import fuzzywuzzy as fw
生データのフレームを作成する
dfRaw = pd.DataFrame({'City': {0: u'St Louis',
1: 'Omaha',
2: 'Chicogo',
3: 'Kansas city',
4: 'Des Moine'},
'State' : {0: 'MO', 1: 'NE', 2 : 'IL', 3 : 'MO', 4 : 'IA'}})
どの利回り
City State
0 St Louis MO
1 Omaha NE
2 Chicogo IL
3 Kansas city MO
4 Des Moine IA
次に、調べたい良いデータを表すフレーム
dfLocations = pd.DataFrame({'City': {0: 'Saint Louis',
1: u'Omaha',
2: u'Chicago',
3: u'Kansas City',
4: u'Des Moines'},
'State' : {0: 'MO', 1: 'NE', 2 : 'IL',
3 : 'KS', 4 : 'IA'},
u'Zip': {0: '63201', 1: '68104', 2: '60290',
3: '68101', 4: '50301'}})
どの利回り
City State Zip
0 Saint Louis MO 63201
1 Omaha NE 68104
2 Chicago IL 60290
3 Kansas City KS 68101
4 Des Moines IA 50301
そして今、マズ機能。編集：choices= right[match_col_name] 行を追加し、Brenbarn の提案ごとに適用で選択を使用しました。また、Brenbarn の提案に従って、適用せずに extractOne() を使用していくつかのテストを実行しましたが、それがボトルネックのようです。ファジーマッチングを行うためのより高速な方法はありますか？
def muzz(left, right, on, match_col_name='match_on',score_col_name='score_match',
right_suffix='_match', score_cutoff=80):
right[match_col_name] = np.sum(right[on],axis=1)
choices= right[match_col_name]
###The offending statement###
left[[match_col_name,score_col_name]] =
pd.Series(np.sum(left[on],axis=1)).apply(lambda x : pd.Series(
fw.process.extractOne(x,choices,score_cutoff=score_cutoff)))
dfTemp = pd.merge(left,right,how='left',on=match_col_name,suffixes=('',right_suffix))
return dfTemp.drop(match_col_name, axis=1)
マズを呼ぶ
muzz(dfRaw.copy(),dfLocations,on=['City','State'], score_cutoff=85)
どの利回り
City State score_match City_match State_match Zip
0 St Louis MO 87 Saint Louis MO 63201
1 Omaha NE 100 Omaha NE 68104
2 Chicogo IL 89 Chicago IL 60290
3 Kansas city MO NaN NaN NaN NaN
4 Des Moine IA 96 Des Moines IA 50301