C++ で robots.txt パーサーを作成しています
boost::regex exrp( "^User-agent:\s*(.*)");
boost:: match_results<string::const_iterator> what;
if(boost::regex_search( robots, what, exrp ) )
{
string s( what[1].first, what[1].second );
cout<< s;
}
これは * という名前のユーザーエージェントと一致する必要がありますが、すべてのデータを返します