問題タブ [language-detection]

Redis は utf8 コードを使用しており、私のプロジェクトでは、utf8 でエンコードされたテキストであるテキスト言語を取得する必要があります。

テキストの言語についての手がかりを与える方法はありますか?

編集: 私のプロジェクトは NodeJs プログラミング言語です。Redis ではおそらく lua スクリプトでこれを処理できますが、nodejs では Redis から取得したテキストを理解できるパッケージはありますか?

Beautifulsoup/python で多数のページの言語を検出しようとしています。

これが、美しいスープを使用してテキストオブジェクトを生成する方法です...

これにより Unicode オブジェクトが生成されますが、cld2 を実行すると次のエラーが発生することがよくあります。

エンコードすると、その特定のテキストでエラーが発生しなくなります。

...しかし、別のテキストに対して別のエラーが発生することになります

このエンコーディングのすべては、私を完全に困惑させます。有効な utf-8 および unicode 文字のみを使用するようにする方法はありますか?

私は現在、複数の言語を含む段落を翻訳しようとしている作業を行っています。

hello bye hola Google翻訳APIで、言語を英語として検出し、その場合 はスペイン語を検出することに気づきました hello hola adios。

したがって、基本的に、文/段落の単語数が最も多い言語があれば、その言語が検出されます。おもしろいことに、Google 翻訳では実際にこの機能を利用できます。

英語ではなく外国語のみを検出するように、この問題を修正する方法はありますか?

学校プロジェクトのアイデアがあり、それを実行する方法についてアドバイスを求めたいと思います。

ユーザーがデータ ファイルをアップロードできるアプリケーションを作成したいと考えています。アプリケーションは、テキスト フィールドの言語 (フランス語、英語など) を検出し、言語列に値を入力できる必要があります。最初はいくつかの言語しか実装できませんが、アプリケーションは言語の列にその言語の可能性を示す必要があります。例: 70% フランス語 30% ラテン語。

私の頭の中にある質問: これらの言語ルールを自分のアプリケーションに自分で実装できますか? アプリケーションを作成するのに理想的なプログラミング言語は何ですか? Java または C++? ご提案をいただければ幸いです。どうもありがとう！

画像にアラビア語または英語のテキストが含まれているドキュメントの画像があります

私は Web ページの言語検出に取り組んでおり、開発した他のミドルウェアを介してページのコンテンツを取得することができました。コンテンツの場所は標準化されていないためです。ただし、 lang および xml:lang タグを使用しようとした言語を検出する方法がわかりませんが、タグで指定されたものとは異なる言語を使用している Web サイトがあるため、期待したほど効率的ではありません。助けていただければ幸いです。(環境 Java Eclipse)

Angular2 アプリでブラウザー言語を検出する必要があります。この言語に基づいて、翻訳が必要な変数のローカリゼーションと ID を含むリクエストを (バックエンドの REST API に) 送信する必要があります。その後、翻訳された変数で応答を受け取りました。

したがって、アプリのワークフローはブラウザー言語を検出することです。たとえばen-US、その後、ID 1、2、3、4、5 の変数の en-US の言語をバックエンドに送信します。{{id:1, var:pay}, {id:1, var:title}}などの対応です。

では、Angular2 (typescript で開発) ブラウザ言語を検出するにはどうすればよいでしょうか?