tokenize - スタンフォード nlp トークナイザー

Question

スタンフォードパーサーを使用してJavaクラスの文字列をトークン化するにはどうすればよいですか?

外部ファイルからテキストを取得する documentProcessor と PTBTokenizer の例しか見つけることができません。

 DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt");
   for (List sentence : dp) {
    System.out.println(sentence);
  }
  // option #2: By token

   PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"),
          new CoreLabelTokenFactory(), "");
  for (CoreLabel label; ptbt.hasNext(); ) {
    label = (CoreLabel) ptbt.next();
    System.out.println(label);
  }

ありがとう。

Answer 1

PTBTokenizer コンストラクターは java.io.Reader を受け取り、StringReader を使用してテキストを解析できます