問題タブ [urlparse]

関数に入力されたURLのdomain.ext部分を削除するメソッド（または関数）を探しています。ドメイン拡張子は任意（.com、.co.uk、.nl、.whatever）にすることができ、ドメイン拡張子に入力されるURLはhttp://www.domain.comからwww.domain.com/pathまでの任意のものにすることができます。 /script.php?=何でも

これを行うための最良の方法は何ですか？

私のアプリケーションは、オブジェクトを識別して解決するためのカスタムURI（またはURL？）を作成します。問題は、Pythonのurlparseモジュールがhttpを解析するように未知のURLスキームを解析することを拒否することです。

urlparseのuses_*リストを調整しないと、次のようになります。

これが私がしていることです、そして私はそれをするより良い方法があるかどうか疑問に思います：

なぜこれを行うためのより良い方法がないのですか？

Python の urlparse 関数は、URL を 6 つのコンポーネント (scheme、netloc、path など) に解析します。

「example.com/path/file.ext」を解析すると netloc は返されず、パス「example.com/path/file.ext」が返されることがわかりました。

netloc = "example.com" で path = "/path/file.ext" ではないでしょうか?

netloc が存在するかどうかを判断するために「://」が本当に必要ですか?

Python のチケット: http://bugs.python.org/issue8284

リンクを取得しながら 5 ～ 10 のサイトを抽出する小さなクローラーを作成しています。このような URL を取得しています。

その場合は/test/index.html、ベース URL を追加できますhttp://www.example.com/test/index.html

この種の URL に対して何ができますか。

URLを「クリーン」にするために何かを書いています。この場合、私がやろうとしているのは、偽のスキームを返すurlopenことだけです。これがないと機能しません。ただし、これをでテストすると、www.python.orgが返されますhttp:///www.python.org。なぜ余分な/を知っている人はいますか？それなしでこれを返す方法はありますか？

HTMLを解析してそこから画像を取得するアプリを作成しています。Beautiful Soupとhtmlのダウンロードを使用すると解析が簡単で、画像はurllib2でも機能します。

相対パスから絶対パスを作成するためのurlparseに問題があります。問題は例で最もよく説明されます：

ご覧のとおり、urlparseは../を削除しません。これにより、画像をダウンロードしようとすると問題が発生します。

urllibでこの問題を修正する方法はありますか？

urlparse の urlsplit 関数に、渡された str の大文字と小文字を強制的に保持させる方法はありますか? 返されたタプルのパスの大文字と小文字は保持されますが、netloc の場合は保持されません。これは私にとって重要です。(ドメイン名では大文字と小文字が区別されないことはわかっていますが、名前の大文字と小文字を変えて A/B テストを行っているため、大文字と小文字を区別する必要があります。)

ありがとう。

私はこれをやっています：

そして、私はこれを取得します：

これを取得したい間：

私は何を間違っていますか？

私のウェブサイトに素敵な (スカンジナビア?) ユーザーがいて、URL で彼のユーザー名を解析できないと不満を漏らしているため、私のウェブサイトの彼のページに結果が表示されません。

ブラウザがリクエストをhttp://councilroom.com/player?player=G%C3%B6rlingとしてエンコードしていると確信してい ます

プレーヤーの文字列を、変換中の Görling ではなく、Görling にしたいと考えています。

私はpython 2.6でweb.pyを使用しており、次のようにURLを解析しようとしています

編集：unutbuの助けを借りて、これを次のように変更して修正しました

webpy は何らかの形で web.ctx のフルパスを誤って解析していたと思いますが、QUERY_STRING 変数は無害です。

urllib を使用すると、文字列を解析して、それが有効な URL かどうかを確認できます。しかし、文に URL が含まれているかどうかを確認し、その URL を抽出するにはどうすればよいでしょうか。いくつかの巨大な正規表現を見てきましたが、本当に理解できないものは使用したくありません。

つまり、基本的に入力文字列があり、その文字列内のすべての URL を見つけて抽出する必要があります。

これについてのきれいな方法は何ですか。