自作のツイッターコーパスを作っています。Java サーブレットを使用して、Twitter コーパスのクエリを REST API として公開しました。ただし、REST API を使用して検索を行うと、すべての結果 (>1000) が 1 つの HTTP 応答で返され、ダウンロードに時間がかかります。
Twitter APIのように検索にページネーションを追加する予定です。例えば、
http://search.twitter.com/search.json?q=blue%20angels&page=1&rpp=50
http://search.twitter.com/search.json?q=blue%20angels&page=2&rpp=50
ここで、rpp はページあたりの結果です。したがって、リクエスト 1 では最初の 50 件の結果を取得でき、リクエストは 50 件の結果を含む次のページをフェッチします。
Java サーブレットでこれを行う方法について何か提案はありますか? HTTP応答が巨大になるため、現在は非常に遅い..