検索用語 (数字とテキスト) を含む CSV ファイルを持っており、これを他の用語 (数字とテキスト) のリストと比較して、一致または潜在的な一致があるかどうかを判断します。次に、すべての結果を新しい CSV に書き込んで手動で確認したいと考えています。fuzzywuzzy プラグインを使用して「スコア」を作成し、用語間の一致度を判断しています。理想的には、比率でフィルター処理できるようにします。
私の現在のコードは、最初のファイルの 1 つの行ではなく、ファイルの行を 1 対 1 で比較し、2 番目のファイルのすべての行と比較します。これは私が必要とするものです。
file2 のすべての行に対して、file1 の各行のあいまい検索を実行するにはどうすればよいですか?
from fuzzywuzzy import fuzz
import csv
from itertools import zip_longest
f = open('FuzzyMatch2.csv', 'wt')
writer = csv.writer(f, lineterminator = '\n')
file1_loc = 'LookUp.csv'
file2_loc = 'Prod.csv'
file1 = csv.DictReader(open(file1_loc, 'r'), delimiter=',', quotechar='"')
file2 = csv.DictReader(open(file2_loc, 'r'), delimiter=',', quotechar='"')
for row in file1:
for l1, l2 in zip_longest(file1, file2):
if all((l1, l2)):
partial_ratio = fuzz.token_sort_ratio(str(l1['SearchTerm']), str(l2['Description']))
a = [l1,l2,partial_ratio]
writer.writerow(a)
f.close()
以下は、上記のコードのよりクリーンなバージョンですが、まだ問題があります。コードでエラーが発生する
IndexError: リスト インデックスが範囲外です
範囲内のリストとコードの動作を取得する方法はありますか?
from fuzzywuzzy import process
import csv
save_file = open('FuzzyResults.csv', 'wt')
writer = csv.writer(save_file, lineterminator = '\n')
def parse_csv(path):
with open(path,'r') as f:
for row in f:
row = row.split()
yield row
if __name__ == "__main__":
## Create lookup dictionary by parsing the products csv
data = {}
for row in parse_csv('Prod.csv'):
data[row[0]] = row[1]
## For each row in the lookup compute the partial ratio
for row in parse_csv("LookUp.csv"):
for found, score in process.extract(row, data, limit=100):
if score >= 10:
print('%d%% partial match: "%s" with "%s" ' % (score, row, found))
Digi_Results = [score, row, found]
writer.writerow(Digi_Results)
save_file.close()