問題タブ [lexical-analysis]
For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.
python - これを正規表現でトークン化するにはどうすればよいですか？
次のような文字列があるとします。
「DVDPlayer」と「CDPlayer」を除いて、キャメルケースのものをトークン化する方法を知っています。手動でトークン化できることは知っていますが、すべてのケースを処理できる正規表現を見せてもらえますか？
編集：期待されるトークンは次のとおりです：
c# - ワードストリームを作成する最良の方法
以下のようなものが書けるようになりたいです。C# でクリーンな WordReader クラスを作成する方法を教えてもらえますか。一言です[a-zA-Z]+。
compiler-construction - 字句解析とマクロ
C でおもちゃのプログラミング言語のデモ コンパイラを書いています。
プログラムの読み取りと字句解析の間の別のフェーズでマクロ処理を行うと、どのような問題が発生する可能性がありますか?
compiler-construction - 字句解析プログラムが検出できるエラーの例をいくつか挙げてください。
字句解析プログラムがJava、C ++、Cなどの言語の特定のコードで検出できるエラーの例をいくつか挙げてください。
php - 字句解析ライブラリ
文章が肯定的か否定的かを認識できるソフトウェアを作りたいです。
字句解析ライブラリはありますか?
どこから始めればいいのかよくわかりません。
parsing - E := EE+|EE-|id の左再帰の削除
次の文法の左再帰をなくす方法は?
一般的な手順を使用します。
に変換:
これを元の文法に適用すると、次のようになります。
したがって：
しかし、この文法は間違っているようです。
は有効ですが、これは正しくない後置式です。
c++ - BNF文法のC++コードを生成する
私は次のソフトウェアツールを見てきました：
ANTLRは最も簡単なようですが、そのドキュメントが不足しています。Ragelも可能に見えますが、 BNFをその構文に変換する簡単な方法はわかりません。
BNF入力を受け取り、対応するUnicode対応のクロスプラットフォーム、スタンドアロン、C ++パーサーを生成できる他のツールはありますか？
すべての提案に感謝します。
編集： Objective-C要件をC++に変更しました。
python - Pythonプログラミング言語の字句解析
Python用のFLEXまたはLEX仕様ファイルがどこにあるか知っている人はいますか？たとえば、これはANSI Cプログラミング言語のlex仕様です：http ：//www.quut.com/c/ANSI-C-grammar-l-1998.html
参考までに、Cocoaアプリケーションにハイライトするコードを書き込もうとしています。文法解析でコードを折りたたんでブロックを認識したいので、正規表現はそれを行いません。