問題タブ [tokenize]

多項式の係数を char 配列から int 配列に入れようとして
いますが、これは次のとおりです。

char string[] = "-4x^0 + x^1 + 4x^3 - 3x^4";

スペースで-4x^0
x^1
4x^3
3x^4にトークン化できます

だから私は取得しようとしています: -4, 1, 4, 3 を int 配列に

ただし、 strncpy(temp[z], p, z); で char* を char に変換できないというエラーが表示されます。

これを行う最良の方法は何ですか？

したがって、次のような多項式があります: -4x^0 + x^1 + 4x^3 - 3x^4
これをスペースと「+」でトークン化して、-4x^0、x^1、4x^3 に変換できます。 , -, 3x^4

負の符号を使用して係数を取得するにはどうすればよいでしょうか: -4, 1, 0, 4, -3
x が表示される唯一の変数であり、これは常に表示さ
れ、配列を使用して配列に係数を格納することを計画しています。インデックスは指数である
ため、-4 はインデックス 0、1 はインデックス 1、0 はインデックス 2、4 はインデックス 3、-3 はインデックス 4 になります。

str.split区切り文字も返すPythonに相当するものはありますか？

いくつかのトークンを処理した後、出力用に空白のレイアウトを保持する必要があります。

例：

ありがとう！

C でファイルから読み取るときに、どのようにトークン化しますか?

テキストファイル：

PES 2009;コナミ;DVD 3;500.25; 6

アサシン クリード;Ubisoft;DVD;598.25; 3

インフェルノ;EA;DVD 2;650.25; 7

印刷したい：

ウイイレ2009

コナミ

.

.

.

私は、文字列のリストを再帰的に1つの文字列に減らすことを本質的に試みているコードの一部に取り組んでいます。

さまざまな長さ（たとえば、配列の長さが2〜4）の一致する文字列配列で構築された内部データベースがあります。

入力文字列配列の例は次のとおりです。

さらに例として、私のデータベースは次のように文字列配列で構成できます。

したがって、私が行おうとしているのは、入力文字列配列を再帰的に1つのトークンに減らすことです。したがって、理想的には、次のように解析します。

ですから、トークンが1つになると、私は満足し、関数は終了します。

これが私の現在のプログラムロジックの概要です：

簡単だと思いましたが、奇妙な結果が出ています。一般的には機能しているように見えますが、出力データをさらに確認すると、いくつかの問題が発生しています。主に、それは特定のポイントまで機能しているように見えます...そしてその時点で私の'curr_size'カウンターは最小値にリセットされます。

したがって、サイズ2、3、4の順に呼び出され、2にリセットされます。私の想定では、所定の最大サイズに達し、完全にベイルします。

コードをできるだけ単純化しようとしたので、文字起こしにはおそらくいくつかの単純な構文エラーがあります。ワシの目のSOユーザーに役立つ可能性のある詳細が他にある場合は、お知らせください。編集します。

前もって感謝します

Google と同様に、検索クエリをトークン化しようとしています。たとえば、次の検索クエリがあるとします。

次のトークンを含む文字列配列が必要です。

ご覧のとおり、トークンはスペースを二重引用符で囲みます。

C# でこれを行う方法の例を探していますが、できれば正規表現を使用しないでください。

また、これを拡張して他の特殊文字を処理する方法を知りたいです。たとえば、用語の前に - を付けて、検索クエリからの除外を強制するなどです。

Boostで文字列を正規表現で分割し、区切り文字を結果リストに含めるにはどうすればよいですか?

たとえば、文字列 "1d2" があり、正規表現が "[az]" の場合、(1, d, 2) のベクトルで結果を取得したい

私は持っている：

ありがとう

PPIとPerl::Criticを使用すると、プログラマーはPerlプログラムの構文で特定のものを検出できます。

Cをトークン化/解析し、その情報を使用して何かを行うためのスクリプトを作成する機会を与えるようなものはありますか？

私たちは、ウェブサイトでユーザー エージェント文字列を追跡しています。それらについて統計を取り、IE6 ユーザーが何人いるか (何を対象に開発する必要があるかがわかります)、またモバイル ユーザーが何人いるかを確認したいと思います。

したがって、次のようなログ全体があります。

そして理想的には、すべての「意味のある」文字列を表示するのは非常にきれいです。これは、特定の長さよりも長い文字列を意味するだけです。たとえばFunWebProducts、または.NET CLR、または.NET CLR 1.0.3705-- が含まれているエントリの数を確認したい場合がありますが、セミコロンが含まれているエントリの数は確認したくありません。したがって、必ずしも一意の文字列を探しているわけではありませんが、すべての文字列、さらにはサブセットも探しています。Mozillaしたがって、これには と のカウントが含まれていることがわかっているので、すべての のカウントを確認したいと思いMozilla/5.0ますMozilla/4.0。このためのネストされた表示があり、最短の文字列から開始して下に向かっていくとよいでしょう。おそらく次のようなもの

これはコンピュータ サイエンスの宿題のように思えます。これは何と呼ばれるでしょうか？このようなものはそこに存在しますか、それとも私が独自に作成しますか?

Lucene を使用してデータベース内の名前を検索しようとしています。ただし、一部の名前には「NOT」や「OR」、さらには「-」などのマイナス記号が含まれています。名前内のさまざまなトークンをアナライザーを使用して分割し、用語のブール組み合わせとして検索したいのですが、Lucene に「NOT」/「OR」用語を演算子として解釈させたくありません (代わりに、通常の用語と同じように検索してほしい)。

私が話していることを達成する 1 つの方法は、検索クエリでアナライザーを手動で実行し、結果のすべてのトークンに基づいてブールクエリを手動で作成することです。これが最善の方法ですか？アナライザーはクエリパーサーと組み合わせて使用​​するように設計されているという印象を受け、私がやろうとしていることを達成するための組み込みの方法があるべきだと感じています。これを行う最良の方法を知っている人はいますか？