問題タブ [tokenize]

次の方法で、文字列を（正規表現を介して）トークンに分割しようとしています。

例 1
入力文字列:'hello'
最初のトークン: '
2 番目のトークン: hello
3 番目のトークン:'

例 2
入力文字列:'hello world'
最初のトークン: '
2 番目のトークン: hello world
3 番目のトークン:'

例 3
入力文字列:hello world
最初のトークン: hello
2 番目のトークン:world

つまり、文字列が単一引用符で囲まれていない場合にのみ文字列を分割し、単一引用符は独自のトークンにする必要があります。

これは私がこれまでに持っているものです:

これは、例 #1 と例 #3 では機能しますが、例 #2 では機能しません。理論的に正規表現で目的を達成する方法があるかどうか疑問に思っています

lexer/tokenizer を構築するとき、isdigit/isalpha/... などの( Cの)関数に依存するのは間違いですか? 私の知る限り、それらはロケールに依存しています。文字セットを選択してそれに集中し、自分で文字マッピングを作成してから分類を検索する必要がありますか? 次に問題は、複数の文字セットを lex できるようになることです。文字セットごとに 1 つのレクサー/トークナイザーを作成するか、それとも、文字マッピングを変更するだけで済むように、作成したものをコーディングしようとしますか? 一般的な慣行とは何ですか？

時間 hh:mm (例: 11:22) があり、文字列トークナイザーを使用して分割したいとします。ただし、分割した後、たとえば、11 と次の行 22 を取得できます。しかし、変数名「hour」と別の変数名「min」に 11 を割り当てるにはどうすればよいですか?

また別の質問です。数値を切り上げるにはどうすればよいですか? 2.1でも切り上げて3にしたいの？

Facebookのように、ステータス更新テキストボックスを備えたソーシャルネットワーキングWebサイトがあります。ただし、ユーザーが新しいステータスを入力するときに@記号を入力できるようにしたいと思います。これにより、友達のプロファイルのオートコンプリートオプションが表示されます（これもFacebookと同じです）。

ユーザーが1つを選択すると、その個人プロファイルへのリンクとしてステータスに含まれる必要があります。

fcbkCompleteプラグインを含むjqueryの多くのオートコンプリートプラグインを見てきましたが、これらはJSONデータからアイテムを選択することのみを許可し、独自のテキストも含めません。

たとえば、次のように入力したい場合があります。「今日、@ Paul Hinettのプロフィールを見ていて、彼が@Jackと友達であることに気づきました。」

2つのプロファイル名はリンクである必要があります。

誰かが助けてくれることを願っています！

プログラムは、cinを介して入力を受け取り、トークン化してから、それぞれを出力して、正しく機能したことを示すことになっています。それはしませんでした。

プログラムはエラーなしでコンパイルされ、入力を受け取りますが、何も出力できません。

私は何が間違っているのですか？

私はここのコード例に従いました：http ：//www.cplusplus.com/reference/clibrary/cstring/strtok/

ありがとう。

トークン化したHTMLドキュメントがあるとすると、それを新しいドキュメントに変換したり、他の変換を適用したりするにはどうすればよいですか？

たとえば、次のHTMLがあるとします。

私が現在書いているのは、トークンのストリームを出力するトークナイザーです。このドキュメントでは、次のようになります（擬似コードで記述）。

しかし、今では、このストリームを使用していくつかの変換を作成する方法がわかりません。

TAG_ATTRIBUTE_VALUE[/foo]たとえば、別の名前に書き直したいと思いTAG_OPEN[a] TAG_ATTRIBUTE[href]ます。

私がやりたいもう1つの変換は、たとえば、括弧内TAG_ATTRIBUTE[href]の後に属性を出力するようにすることです。TAG_OPEN[a]

に書き直されます

そのような変換を行うための一般的な戦略は何ですか？すべてのタグを削除してTEXTコンテンツを残す、特定のタグの後にタグを追加するなど、他にも多くの変換を実行したいと思います。

解析ツリーを作成する必要がありますか？私はそれを行ったことがなく、トークンのストリームから解析ツリーを作成する方法がわかりません。それとも私はそれを他の方法で行うことができますか？

どんな提案でも大歓迎です。

そしてもう1つ、このすべての構文解析を自分で学びたいので、ライブラリを探していません。

よろしくお願いします、Boda Cydo

マッピングアプリの構成ファイルで動的フィールドを有効にしようとしていますが、少なくともパーサー全体を最初から作成しない限り、ユーザーから渡された「方程式」を解析する方法がわかりません。これを行うためのもっと簡単な方法があると確信しているので、私はアイデアを求めています！

基本的な考え方：

これまで、演算子または変数トークンのいずれかで式を分割することを考えていましたが、これにより括弧で囲まれたネストがなくなります。または、一連の正規表現を使用して、式の各部分を検索してその値に置き換え、数値だけが残るまで再帰的に実行します。しかし、正規表現が数学を行うとは思いません（つまり、「\ d + \ d」を2つの数値の合計に置き換えます）理想的には、すべての変数名を検索/置換してから、eval（ ）、しかしASには評価がありません...

eesh

コンパイラー設計のコース用にいくつかのコース資料をダウンロードしたので、本格的な電卓言語とパーサーを作成して、他のフレックス（パーサージェネレーター）から移植するだけかもしれません:-D

ANSI SQL文字列をさまざまなコンポーネントにトークン化/解析するオープンソースライブラリ（任意の言語、Python / PHPを推奨）はありますか？

つまり、次の文字列がある場合

次のようなデータ構造/オブジェクトを取得します

言い換えると、SQLコマンドを分解して、エンジンがそれをどう処理するかを認識できるようにするデータベースパッケージ内のコードを探しています。インターネットを検索すると、SQLを使用して文字列を解析する方法について多くの結果が得られます。それは私が望んでいることではありません。

オープンソースデータベースのコードを調べて欲しいものを見つけることができると思いますが、もう少し準備ができているものを望んでいました（ただし、MySQL、PostgreSQL、SQLiteソースのどこを見ればよいか知っている場合は、気軽に渡してください）それに沿って）

ありがとう！