文字列をトークン化するPerlスクリプトがあります
@s=split /([^a-zA-Z \t\-\'\,\.]+)/, $_[0]; # tokenized with separators
だから私が文字列を持っているなら$s="The large [[bear]] is dangerous."
戻りますarray("The large", " [[", "bear", "]] ", "is dangerous", ".")
しかし、phpスクリプトで使用した場合、正規表現パターンが機能しないようです。
$tokens = preg_split("/[^a-z \t\-\'\,\.]+/i", $s);
誰かが問題について何か考えを持っていますか?