6

スタンフォードパーサーを使用してJavaクラスの文字列をトークン化するにはどうすればよいですか?

外部ファイルからテキストを取得する documentProcessor と PTBTokenizer の例しか見つけることができません。

 DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt");
   for (List sentence : dp) {
    System.out.println(sentence);
  }
  // option #2: By token

   PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"),
          new CoreLabelTokenFactory(), "");
  for (CoreLabel label; ptbt.hasNext(); ) {
    label = (CoreLabel) ptbt.next();
    System.out.println(label);
  }

ありがとう。

4

1 に答える 1

6

PTBTokenizer コンストラクターは java.io.Reader を受け取り、StringReader を使用してテキストを解析できます

于 2012-10-11T20:09:30.507 に答える