テキストからトークンを抽出する必要があるプロジェクトに取り組んでいます。このトークンには、名前付きエンティティも含まれている必要があります。
たとえば、テキスト:
50 Cent is almost irrelevant to hiphop
私の望む出力
50 Cent
is
almost
irrelevant
to
hiphop
LingPipe を使用してトークンを抽出できますが、Exact Dictionary-Based Chunking アプローチを使用して目的の出力を取得する方法がわかりません。それをどのように行うかについてのアイデア/例をいただければ幸いです。