アップデート：
したがって、問題はジェネレーターにあるようであり、必ずしも next-token および lookahead 関数にあるとは限りません。set!s が発生している場所に表示呼び出しを追加したところ、(generate-token) が 2 回目に呼び出された後、最初に呼び出された場所から実行が再開されることが問題であることがわかりました。
プログラムの完全なコードは次のとおりです (参照用に元の投稿を以下に残しました)。
(define char-alphanumeric? (lambda (char) (or (char-alphabetic? char) (char-numeric? char))))
(define generate-token #f)
(define filename "input.txt")
(define next-token #f)
(define lookahead #f)
(define status #f)
(let ((f (open-input-file filename)) (yield #f) (token "") (lookahead-token #f) (current-token #f))
(set! generate-token (lambda ()
(letrec ((next-char (lambda (c)
(let ((separators (list #\; #\,)))
(cond ((eof-object? c) (display "last token before eof: ") (display token) (newline) (yield c))
((member c separators)
(begin
(display "token before sep: ") (display token) (newline)
(call-with-current-continuation (lambda (resume)
(set! generate-token (lambda () (resume)))
(yield token)))
(display "back from call") (set! token "")
(call-with-current-continuation (lambda (resume)
(set! generate-token (lambda () (resume)))
(yield (make-string 1 c))))
))
((or (char-alphanumeric? c) (equal? c #\_)) ; c is part of a string token
(begin (display "found char: ") (display c) (display "; added to string: ")
(set! token (string-append token (make-string 1 c)))
(display token) (newline)
(next-char (read-char f))))
((char-whitespace? c)
(begin
(display "token before ws: ") (display token) (newline)
(if (> (string-length token) 0)
(begin (call-with-current-continuation (lambda (resume)
(display "setting generate-token to resume") (newline)
(set! generate-token (lambda ()
((display "calling resume") (newline)
(resume))))
(display "yielding token from cc") (newline)
(yield token)))
(display "continuing...") (newline)
(set! token ""))
;(set! token "")
))))
(next-char (read-char f))
))))
(call-with-current-continuation (lambda (k) ((set! yield k) (k (next-char (read-char f))))))
)))
(set! lookahead (lambda () (begin
(if (not lookahead-token)
(begin (display "no lookahead") (newline)
(display "setting lookahead-token") (newline)
(set! lookahead-token (string-copy (generate-token)))
(display "lookahead set to ") (display lookahead-token) (newline)
))
lookahead-token)))
(set! next-token (lambda () (begin
(if lookahead-token
(begin (display "affirmative") (newline)
(set! current-token (string-copy lookahead-token))
(set! lookahead-token #f))
(begin (display "negative") (newline)
(display "setting current token to next-token") (newline)
(set! current-token (string-copy (generate-token)))
(display "current token = ") (display current-token) (newline)
(set! lookahead-token #f)))
current-token)))
(set! status (lambda () (begin (display current-token) (display " -> ") (display lookahead-token) (newline))))
)
以下の元の投稿の最初の例に従って、次のトークンと先読み呼び出しを実行すると、次の結果が得られます。
> (next-token)
negative
setting current token to next-token
found char: t; added to string: t
found char: h; added to string: th
found char: e; added to string: the
found char: s; added to string: thes
found char: e; added to string: these
token before ws: these
setting generate-token to resume
yielding token from cc
current token = these
"these"
> (status)
these -> #f
> (lookahead)
no lookahead
setting lookahead-token
calling resume
continuing...
found char: a; added to string: a
found char: r; added to string: ar
found char: e; added to string: are
token before ws: are
setting generate-token to resume
yielding token from cc ; the problem is right here: the generate token call is
current token = are ; sending control back to next-token instead of lookahead.
"are"
> (status)
are -> #f
なぜこのように振る舞うかについては途方に暮れていますが、私は継続に不慣れであり、おそらくその影響を完全には理解していないことを認めます。いつものように、どんな助けでも大歓迎です。
ありがとう。
元の投稿は次のとおりです。
テキスト ファイルを解析し、一度に 1 つのトークンを文字列として返すジェネレータを作成しました。したがって、次を含むファイルがある場合
these are my file contents
(generate-token) を連続して呼び出すと、それぞれ「these」「are」「my」... が返されます。これは機能しているように見えますが、これはより大きな割り当てのパーサーの一部として書いたものです。ジェネレーターは順調に動作しているようですが、トークンのストリームを解析するために LR(1) パーサーを構築しているため、先読みを実行できる必要があります。そのために、次のプログラムを作成しました。
(define generate-token #f)
(define next-token #f)
(define lookahead #f)
(define status #f)
(let ((lookahead-token #f) (current-token #f))
(set! generate-token (lambda () ... ) ; the generator function
(set! lookahead (lambda () (begin
(if (not lookahead-token)
(begin (display "no lookahead") (newline)
(set! lookahead-token (string-copy (generate-token)))))
lookahead-token)))
(set! next-token (lambda () (begin
(if lookahead-token
(begin (display "affirmative") (newline)
(set! current-token (string-copy lookahead-token))
(set! lookahead-token #f))
(begin (display "negative") (newline)
(set! current-token (string-copy (generate-token)))
(set! lookahead-token #f)))
current-token)))
(set! status (lambda () (begin (display current-token) (display " -> ") (display lookahead-token) (newline))))
)
ただし、これらは期待どおりに機能しません。スキーム (これは drRacket で記述されていますが、#lang r5rs を使用しています) はオブジェクトを値で渡すという印象を受けています。 :
> (status)
#f -> #f
> (next-token)
"these"
> (status) ; next-token properly sets current-token
"these" -> #f
> (lookahead) ; generator returns "are" as expected
"are"
> (status) ; notice that the current-token has been replaced instead of the lookahead-token
"are" -> #f
別のフローでは、(先読み) が最初に呼び出された場合、正しく動作します。
> (status)
#f -> #f
> (lookahead)
"these"
> (status)
#f -> "these"
> (lookahead)
"these"
> (status)
#f -> "these"
> (next-token)
"these"
> (status)
"these" -> #f
> (lookahead)
"are"
> (status)
"these" -> "are"
何が起こっているのかについて手がかりがあれば、どんな洞察も大歓迎です。開示: これは学校の課題ですが、私に代わってやるように頼んでいるわけではありません >.>.