問題タブ [tokenize]

For questions regarding programming in ECMAScript (JavaScript/JS) and its various dialects/implementations (excluding ActionScript). Note JavaScript is NOT the same as Java! Please include all relevant tags on your question; e.g., [node.js], [jquery], [json], [reactjs], [angular], [ember.js], [vue.js], [typescript], [svelte], etc.

0 投票する
2 に答える
20164 参照

xslt - XSLT 1.0 によるトークン化とソート

区切られた文字列 (以下の例ではスペースで区切られています) をトークン化し、並べ替えてから結合する必要があり、これらすべてを XSLT 1.0 を使用して行う必要があります。どうすればいいですか?どうにかして使用する必要があることはわかってxsl:sortいますが、これまでに試したことはすべて、何らかのエラーを引き起こしました。

たとえば、この投稿の下部にあるコードを実行すると、次のようになります。

ストロベリー ブルーベリー オレンジ ラズベリー ライム レモン

代わりにこれを入手したい場合はどうすればよいですか?:

ブルーベリー レモン ライム オレンジ ラズベリー ストロベリー

XSLT 1.0 を使用していることに注意してください。

これは、 Jeni Tennisonによるコードに基づいたコードです。

0 投票する
3 に答える
443 参照

c++ - 改行の認識

ユーザーが「;」を入力すると出力を出力するかなり複雑な電卓があります。(そして入力を押します。) 私が今やろうとしているのは、ユーザーが入力を押したときに (セミコロンを使用せずに) 出力を印刷できるようにすることです。これを実装する方法を知る必要があります。

補足: 電卓はトークン化を使用してユーザー入力を読み取ります

これは電卓のソースの一部であり、変更が必要な唯一の部分です。これは、電卓の他のさまざまな関数が次のトークンを取得するために呼び出すときに呼び出される Token_stream のメンバー関数です。

これまでのところ、ユーザーが 5*5 を入力してスペースを押しても何も起こりません。ただし、スペースを押してからランダムな文字 (; だけでなく任意の文字) を入力してから Enter キーを押すと、答えが出力されます。この後、ユーザーは enter を使用して出力を生成できますが、スペースを押した後にユーザーが入力した余分なトークンが保存されるため、操作の順序がすべて厄介になります。

要するに、ユーザーが最初にスペースを押してから入力できるようにする方法を知る必要があります (または単に入力しますが、今のところはスペースを入力して入力します)。追加の文字なしで出力を生成します。

問題を解決するために、より多くのソースを表示したり、電卓自体に関する質問がある場合は、喜んで投稿します。

PS 元のプログラムは、私が C++ を学んでいる本からのものです。私はそれを変更して機能を追加する演習を行ってきました。

0 投票する
3 に答える
1464 参照

java - Javaのshlex代替

Javaのshlexの代替手段はありますか?シェルが処理するように、引用符で区切られた文字列を分割できるようにしたいと思います。たとえば、私が送信する場合:

割して、トークンを受け取りたいのですがp>

0 投票する
5 に答える
31380 参照

oracle - Oracle 9iでcsv文字列を最適に分割する方法

Oracle 9i で csv 文字列を分割できるようにしたい

次の記事を読みました http://www.oappssurd.com/2009/03/string-split-in-oracle.html

しかし、私はこれを機能させる方法を理解していませんでした。ここに、それに関連する私の質問のいくつかがあります

  1. これは Oracle 9i で機能しますか?
  2. 上記の解決策よりも csv 文字列を分割するためのより良い方法はありますか?
  3. 新しいタイプを作成する必要がありますか? もしそうなら、そのために特定の特権が必要ですか?
  4. 関数内で型を宣言できますか?
0 投票する
2 に答える
4056 参照

parsing - 用語抽出: テキストからタグを生成

http://developer.yahoo.com/search/content/V1/termExtraction.htmlと同じ結果を得る方法

この質問は、以前にかなりの回数尋ねられました。

既存のソリューションでこの問題にアプローチしようとすると、「テキスト分析」Solr は、http: //wiki.apache.org/solr/AnalyzersTokenizersTokenFilters で説明されているように、インデックスを作成する前にドキュメントに対して実行します。これには、ステミングも含まれます。

そのため、最終的な索引は、ドキュメントを説明するために使用される用語の大部分で構成されます。

直接使用するためのアナライザー、トークナイザー、およびトークン フィルターを提供するソリューションはありますか? solrが解決策である場合、solrのインデックスからこのデータを取得する最良の方法は何ですか?

0 投票する
4 に答える
3443 参照

c++ - Int トークナイザー

文字列トークナイザーがあることは知っていますが、「int トークナイザー」はありますか?

たとえば、文字列「12 34 46」を分割し、次のようにします。

リスト[0]=12

リスト[1]=34

リスト[2]=46

特に、Boost::Tokenizer がこれを行うかどうか疑問に思っています。文字列を使用していない例は見つかりませんでしたが。

0 投票する
6 に答える
3145 参照

c++ - stdin から数値のリストを取得し、それらをトークン化します

ユーザーから番号のリストを取得してトークン化するにはどうすればよいですか。

これは私が持っているものですが、最初の数字以外は何も得られません:

関連記事:
C++、文字列から文字列ストリーム、ベクトル
Int Tokenizerへ

0 投票する
4 に答える
639 参照

string - n番目のトークンの位置を見つける方法

最大 20 単語の文字列があります。ユーザーが 20 語を超える何かを入力した場合、文字列を 20 語目で切り詰める必要があります。これをどのように自動化できますか? #GetToken(myString, 20, ' ')# で 20 番目のトークンを見つけることができますが、左トリムするためにその位置を見つける方法がわかりません。何か案は?前もって感謝します。

0 投票する
3 に答える
481 参照

python - Python でのコード ブロックのトークン化

私はこの文字列を持っています:

そして、私はこのようなリストが欲しい

私がエレガント/pythonicとは思わない私の現在の実装は、2つの再帰関数です(1つは '[' で分割し、もう1つは ']' で分割します)が、リスト内包表記または正規表現を使用して実行できると確信しています(しかし、私はできますそれを行うための正気な方法を理解していません)。

何か案は?