hadoop - ハイブngramストップワードリスト?

Question

使用例の 1 つとしてリストされていますが、Hive n-gram からジャンク ワード (and、or など) を除外する例は見つかりませんでした。

SELECT explode(context_ngrams(sentences(lower(description)), array("criminal", null), 10)) AS x FROM mapped_discussions;

{"ngram":["justice"],"estfrequency":274.0}
{"ngram":["behavior"],"estfrequency":121.0}
{"ngram":["law"],"estfrequency":92.0}
{"ngram":["activity"],"estfrequency":69.0}
{"ngram":["acts"],"estfrequency":41.0}
{"ngram":["procedure"],"estfrequency":35.0}
{"ngram":["and"],"estfrequency":29.0}
{"ngram":["or"],"estfrequency":27.0}
{"ngram":["case"],"estfrequency":26.0}
{"ngram":["cases"],"estfrequency":25.0}

何か案は？ありがとう！

Answer 1

このトピックに関する優れた投稿がここにあります。http://bigdatabloggin.blogspot.com/2012/08/trending-topics-in-hive-ngrams.html