問題タブ [tokenize]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
6 に答える
40101 参照

bash - bashでファイル名をどのように解析しますか?

次のような形式のファイル名があります。

system-source-yyyymmdd.dat

「-」を区切り文字として使用して、ファイル名のさまざまなビットを解析できるようにしたいと思います。

0 投票する
35 に答える
613895 参照

c++ - C++ で文字列をトークン化するにはどうすればよいですか?

Java には便利な分割メソッドがあります。

C++ でこれを行う簡単な方法はありますか?

0 投票する
6 に答える
10081 参照

c# - スペースで区切られたテキストを解析するための最良の方法

私はこのような文字列を持っています

トークン化したいのですが、スペースを分割することはできません。動作するやや醜いパーサーを思いついたのですが、もっとエレガントなデザインを持っている人はいないかと思います。

これはC#です。

編集:私の醜いバージョンは醜いですが、O(N)であり、実際には正規表現を使用するよりも高速である可能性があります。

0 投票する
15 に答える
607095 参照

java - Javaで文字列の文字を反復処理するための最も簡単/最良/最も正しい方法は何ですか?

Javaで文字列の文字を反復処理するいくつかの方法は次のとおりです。

  1. StringTokenizer?を使用する
  2. をに変換Stringし、char[]それを繰り返します。

反復するための最も簡単/最良/最も正しい方法は何ですか?

0 投票する
6 に答える
5152 参照

python - Pythonで文字列を分割する

私はこのような文字列を持っています:

これは[ブラケットテスト]"と引用符テスト"です

中括弧と引用符内のスペースを無視して、Pythonで何かをスペースで分割するように作成しようとしています。私が探している結果は次のとおりです。

['this'、'is'、'bracket test'、'and quotes test']

0 投票する
4 に答える
1742 参照

java - stringTokenizer でテキスト行を事前定義された変数に分割する最良の方法は何ですか?

タイトルが明確かどうかはわかりませんが、基本的には、ファイルから 1 行のテキストを読み取り、それを 8 つの異なる文字列変数に分割する必要があります。各行には、同じ順序 (タイトル、著者、価格など) で同じ 8 つのチャンクがあります。したがって、テキストの各行に対して、最終的に 8 つの文字列を作成したいと考えています。

最初の問題は、行の最後の 2 つのフィールドが存在する場合と存在しない場合があることです。そのため、stringTokenizer.hasMoreTokens を使用して何かを行う必要があります。そうしないと、フィールド 7 と 8 が存在しないときに乱雑に終了します。

理想的には for ループの 1 回で実行したいのですが、8 つ (または 6 つ) の文字列すべてを正しく埋めることができるように、フィールドの順序がどうなるかをそのループに伝える方法がわかりません。ネストされた 8 つの if ステートメントを使用するより良い方法があることを教えてください。

編集: String.split ソリューションは間違いなくその一部であるように思われるので、stringTokenizer の代わりにそれを使用します。ただし、個々の文字列をコンストラクターに供給する最良の方法はまだわかりません。最善の方法は、クラスに配列を期待させてから、コンストラクターで次のようにすることです。

0 投票する
4 に答える
20010 参照

java - Java の Scanner クラスと正規表現を使用して入力をトークン化するにはどうすればよいですか?

私自身の目的のためだけに、通常の文法を定義し、それに基づいて入力をトークン化できるトークナイザーを Java で構築しようとしています。StringTokenizer クラスは非推奨であり、何をしたいのかを示唆する関数が Scanner にいくつか見つかりましたが、まだ運がありません。これについて良い方法を知っている人はいますか?

0 投票する
2 に答える
1092 参照

grails - タグがスペースで区切られた文字列を解析、永続化、取得する方法は?

私のデータベースは 3 つのテーブルで構成されています (1 つはすべてのアイテムを格納するため、1 つはタグ用、もう 1 つは 2 つの間の関係用です)。

表: 投稿列: PostID、Name、Desc

表: タグ列: TagID、名前

表: PostTag 列: PostID、TagID

上記の 3 つのデータベース テーブルに、スペースで区切られた文字列 (たとえば、"smart funny wonder") を保存する最良の方法は何ですか?

最終的には、タグを取得して、再度文字列として表示する必要もあります。ありがとう!

0 投票する
9 に答える
71748 参照

objective-c - Objective-C での NSString のトークン化

Objective-CでNSStringをトークン化/分割する最良の方法は何ですか?

0 投票する
8 に答える
148960 参照

c - C での文字列のトークン化

スペースを区切り文字として使用して文字列をトークン化しようとしましたが、うまくいきません。なぜそれが機能しないのかについての提案はありますか?

編集:次を使用してトークン化:

コードは次のようなものです