問題タブ [tokenize]

私はルビーで解析したい非常に単純な文字列を持っており、最もエレガントな解決策を見つけようとしています。文字列の形式は/xyz/mov/exdaf/daeed.mov?arg1=blabla&arg2=3bla3blaです。

私が欲しいのは：string1：/xyz/mov/exdaf/daeed.mov string2：arg1 = blabla＆arg2 = 3bla3bla

だから基本的にトークン化？

しかし、良い例を見つけることができません。どんな助けでもいただければ幸いです。

私はboost::tokenizerを探していましたが、ドキュメントが非常に薄いことがわかりました。「イルカ - サル - ヒヒ」などの文字列をトークン化し、すべての単語とダブル ダッシュをすべてトークンにすることは可能ですか? 例から、許可されている単一文字の区切り記号のみを見てきました。ライブラリは、より複雑な区切り文字に対して十分に高度ではありませんか?

次の場合、Java でテキスト ファイルをトークン化する最良の方法は何ですか?

1. String ではなく、java.io.Reader で作業したい
2. 区切り文字を返す必要がありますか?

以下のクラスを評価しました。

• java.util.StringTokenizer は [2.] を満たしますが、[1.] を満たしません。
• java.util.Scanner は [1.] を満たしますが、[2.] を満たしません。
• java.io.StreamTokenizer はかなり複雑に見えます。

実際、区切り記号は必要ありません。特定のトークンがストリームの最後まで利用可能であるかどうかを知る必要があるだけで、それをフェッチし、トークンの前にあるすべてのものをフェッチします。ステップごとにトークンを再指定できる必要があります。

Apache Commons、Google Code Search、Stack Overflow を調べましたが、何も見つかりませんでした。

各行に整数が含まれる.txtファイルがあります。

ファイルとの配列にある値の出現をカウントしたいと思います。

私のコード抽出はこれです

エラーメッセージは

ファイルは同じディレクトリにあります。

誰かが私に手を貸してくれませんか？ありがとう

次のような文字列があるとします。

「DVDPlayer」と「CDPlayer」を除いて、キャメルケースのものをトークン化する方法を知っています。手動でトークン化できることは知っていますが、すべてのケースを処理できる正規表現を見せてもらえますか？

編集：期待されるトークンは次のとおりです：

PHPファイルへのパスを保持する単一の引数を受け取り、指定されたファイルを解析して次のようなものを返す関数を作成したいと思います:

この関数は、指定されたファイルに存在するすべてのクラス、メソッド、および関数を、定義されたすべての識別子 (abstract、public、private、protected、static、extend、interfaces など) とともに返す必要があります。

私の最初の考えは、これを行うために正規表現を使用することでしたが、これらはコメントで非常にうまく動作しません。

別の可能な解決策は、次の組み込み PHP 関数を使用することでした。

ただし、これらの関数では、クラス/メソッド/関数が定義されているファイルを表示できないため、あまり役に立ちません。

Tokenizer 拡張機能が私の問題の解決策であると信じていますが、この拡張機能を使用したことはありません。

私はこのテキスト行を持っていますが、引用符の数は次のように変化する可能性があります:

引用符間のデータを取得するにはどうすればよいですか?

結果は次のようになります。

comillas
mas、comillas、trick
a、words、are、comillas

vsprintf を使用する関数のカスタム形式をユーザーが指定できるようにする必要があります。PHP には glibc の register_printf_function() がないため、PCRE で指定する必要があります。

私の質問は、 % の後に任意の文字が続き、その前に % がなくても、後でプログラムで使用できるようにするのに最適な REGEXP は何でしょうか?

私が得ることができる最も近い解決策は次のとおりです。

どちらがうまくいきますが、これは「%%%c」のような入力によって「混乱」します。次のように、一連の 2 つの % 記号 (つまり、エスケープ) を 1 つのグループにまとめたいと思います。

Array ( 0 => '%%%c' ) つまり、カスタム printf の処理を​​行った後にピースを結合するために、トークン化されていても、入力をそのままにしておく必要があります。入力で遭遇するフォーマット。

ありがとう、

フラウィウス

PS: 「ユーザー」は実際には別のプログラマーです。私はセキュリティへの影響を認識しています。

2 つの txt ファイルから bmp イメージを作成する必要があります。最初のファイルは mxn 配列です:

* * * * * * * *
mn
c11 c21 .. cm1
...
c1n c2n .. cmn
* * * * * * *

* * * * * * * *
6 5
.7 .7 .6 1.0 1.2 .1
.9 .3 .7 1.1 .7 .2
1 1.1 1.2 1.3 1.7 .6
.5 .6 .5 .4 .9 . 1101
2 .1 .1 .1 2.1 1.1
* * * * * * * *

2 番目の txt ファイルは、次のようなカラー スケールです

* * * * * * * *
min1 max1 r1 g1 b1
min2 max2 r2 g2 b2
...
minx maxx rx gx bx
* * * * * * * * *

* * * * * *
0 .5 255 128 64
.5 .75 128 255 32
.75 1.25 64 64 225
01.50 5 128 128 0
* * * * * * *

したがって、この2つのファイルから読み取る必要があります。StringTokenizer クラスを使用して最初の txt ファイルから配列を作成しようとしましたが、まったく失われました。2 つのファイルから、bmp イメージを作成しました。誰かが何らかの方法で私を助けることができますか?

このような文字列をトークン化したい

このようにベースを分割することはできません

次のようなトークンを取得するためにどのように分割できますか