Python nltk でクラスタリング、データ抽象化などのアルゴリズムをいくつか開発しました。さて、問題は、VC にプレゼンテーションする前に大規模にしようとしていることです。NLTK には、迅速な開発などの独自の利点があります。しかし、最初に選択したとき、これは理にかなっています。今、私は十分に成熟しており、スケーラビリティの欠如など、いくつかの制限を見つけています。Mahout についていくつかの調査を行いましたが、それもクラスター/分類とコロケーションのためのものです。オープン NLP はオプションですが、いつまで使用できるかわかりません。高スケール nlp に適したものはありますか?
注意してください - この質問は私の以前の質問とは関係ありません -どうすればNLTKのパフォーマンスを向上させることができますか? 代替案？. 私はすでに本番 Web アプリケーションで NLTK を完全に読んでいます。
NLTK は確かに優れた学習プラットフォームですが、何百万もの顧客に確実にサービスを提供するようには設計されていません。
スケーラビリティの問題には、次の 2 つの方法で対処できます。
これは、アルゴリズムを再考することを意味します。十分な数学的背景とアルゴリズムの十分な理解が必要です。実行時間は作業量とあまり関係がないため、アルゴリズムを置き換えることさえあるかもしれません。
したがって、あなたのアイデアを実装するという点では、あなたのスキルによっては、これが最も難しい (場合によっては不可能な) 解決策になるかもしれません。展開と将来の利益のために、これは最も簡単なソリューションです。
スケーラビリティにはさまざまな意味があります。
スケーラビリティに関しては、さまざまな桁があります。10 倍、100 倍、1000 倍、などとスケーリングしますか?
スケーラビリティの問題を克服するには、さまざまな方法があります。
スケーラビリティのタイプが何であれ、それを克服するために使用する方法が何であれ、負荷テストを行って処理できることを確認してください。すべてのハードウェアをすぐに購入できるわけではないため、スケーリングされたインフラストラクチャの負荷テストを行うさまざまな方法があります。
幸運を！