- 長いリスト内のすべての文の類似性を 1 つの文に定量化する必要があります。おそらく、Levenshtein または difflib を使用します。
- 次に、特定のしきい値を超える、たとえば difflib の 90% を超えたリストの文を削除する必要があります。
助けてくれませんか?ありがとう!
助けてくれませんか?ありがとう!
>>> mylist = ['ham and eggs', 'spam and legs', "it's time to die, mr bond!"]
>>> import difflib
>>> close_matches = difflib.get_close_matches('spam and eggs', mylist)
>>> close_matches
['spam and legs', 'ham and eggs']
>>> set(mylist) - set(close_matches)
set(["it's time to die, mr bond!"])