問題タブ [non-ascii-characters]

ファイルからすべての非ASCII文字を取り除くファイルユーティリティを作成します。私はこの正規表現を持っています：

これは問題なく動作します。しかし、残念ながら、一部の愚かな人々がファイルの区切り文字として直角（¬）を使用していることを発見したので、これらも削除されますが、私はそれらが必要です！

私は正規表現にかなり慣れていません。基本は理解していますが、どんな助けでも素晴らしいでしょう！

前もって感謝します！

12,000毎6時間生成される約行のファイルがあります。これらの行のいくつかには、ASCII 以外の文字があります。

Perl スクリプトを実行して、非 ASCII 文字を含むすべての行を削除できるようにしたいと考えています。

サイズが500MBのファイルがあります。ASCII 以外の文字が含まれています。Unixコマンドを使用してそれらの文字を見つけたいだけです。行番号と各行の位置を取得する方が良いかもしれません。

ありがとう ：）

非ASCII文字を含むURLからデータをフェッチする必要がありますが、urllib2.urlopenはリソースを開くことを拒否し、次のように表示します。

URLが標準に準拠していないことは知っていますが、変更する機会はありません。

Pythonを使用して非ASCII文字を含むURLが指すリソースにアクセスする方法は何ですか？

編集：言い換えると、urlopenは次のようなURLを開くことができます/どのように開くか：

django を使用して、一部の文字列をイタリア語から他の言語にローカライズしようとしています。すべてが正常に機能していますが、アクセント付きの文字を含む文字列では機能していません。

元のファイルは、翻訳された .po ファイルと同様に UTF-8 で保存されます。文字列は同一で、compilemessages コマンドは警告なしで機能します。ただし、ページを開こうとすると、それらの文字列の翻訳バージョンが表示されず、それらのみが表示されます。

何を確認すればよいですか？

ありがとう！

データが非 ASCII (中国語、日本語の文字) である可能性がある POST 要求を行う必要があります。入力を Unicode に変換し、utf-8 でエンコードする必要があります。これが私がそれをした方法です：

ただし、ログに次のエラーが表示され続けます。

TypeError: Unicode のデコードはサポートされていません

次のlinq to xmlクエリを使用して、XMLファイル内の要素を検索しています

そして、私のxmlファイルは

is equal to "Åker"にもかかわらずRequest.QueryString("DbName")、クエリは結果を返しません。

「\xaf」、「\xbe」などの文字を含むテキストがあります。これは、この質問から理解できるように、ASCII エンコードされた文字です。

Python でそれらを UTF-8 に相当するものに変換したいと考えています。いつものstring.encode("utf-8")スローUnicodeDecodeError。たとえば、codecs標準ライブラリを使用するなど、より良い方法はありますか?

200 文字のサンプルはこちら.

この単語のすべての文字が単語パターンと一致するファイルにいくつかの単語を取得する正規表現をマウントしようとしています。

私の問題は、正規表現がアクセント付きの単語を見つけることができないことですが、私のテキスト ファイルにはアクセント付きの単語がたくさんあります。

私のコマンドラインは次のとおりです。

ファイルの内容は次のとおりです。

どうすれば修正できますか？

クエリの結果の数を取得するには、Google 検索を実行する必要があります。ここで答えを見つけました-PythonアプリからのGoogle検索

ただし、いくつかのクエリでは、以下のエラーが発生します。クエリにユニコード文字が含まれていると思います。

UnicodeDecodeError: 'ascii' コーデックは位置 28 のバイト 0xc3 をデコードできません: 序数が範囲外です (128)

Google を検索したところ、Unicode を ascii に変換する必要があることがわかり、以下のコードが見つかりました。

アクションを無視すると、それらの文字が削除されますが、他のアクションを使用すると、例外が発生します。

これを処理する方法はありますか？

ありがとう

== 編集 == 以下のコードを使用してエンコードしてから検索を実行すると、エラーがスローされます。

クエリ = urllib.urlencode({'q': searchfor})