75

urllib.urlopen (urllib.urlencode も使用) を使用して、外部サーバー上のページを照会する必要がある関数をテストする必要があります。サーバーがダウンしている可能性があり、ページが変更される可能性があります。私はテストのためにそれに頼ることはできません。

urllib.urlopen が返すものを制御する最良の方法は何ですか?

4

8 に答える 8

101

もう 1 つの簡単な方法は、テストで urllib のurlopen()関数をオーバーライドすることです。たとえば、モジュールに

import urllib

def some_function_that_uses_urllib():
    ...
    urllib.urlopen()
    ...

次のようにテストを定義できます。

import mymodule

def dummy_urlopen(url):
    ...

mymodule.urllib.urlopen = dummy_urlopen

次に、テストが の関数を呼び出すと、実際の の代わりに が呼び出されmymoduleます。Python のような動的言語を使用すると、テスト用のメソッドやクラスを簡単にスタブ化できます。dummy_urlopen()urlopen()

テストの依存関係をスタブ化する方法の詳細については、 http: //softwarecorner.wordpress.com/にある私のブログ投稿を参照してください。

于 2008-11-17T12:32:42.953 に答える
73

私はモックのパッチデコレータを使用しています:

from mock import patch

[...]

@patch('urllib.urlopen')
def test_foo(self, urlopen_mock):
    urlopen_mock.return_value = MyUrlOpenMock()
于 2010-03-06T15:31:31.283 に答える
27

モックスを見ましたか？必要なすべてを実行する必要があります。以下は、必要なソリューションを説明する簡単なインタラクティブ セッションです。

>>> import urllib
>>> # check that it works
>>> urllib.urlopen('http://www.google.com/')
<addinfourl at 3082723820L ...>
>>> # check what happens when it doesn't
>>> urllib.urlopen('http://hopefully.doesnotexist.com/')
#-- snip --
IOError: [Errno socket error] (-2, 'Name or service not known')

>>> # OK, let's mock it up
>>> import mox
>>> m = mox.Mox()
>>> m.StubOutWithMock(urllib, 'urlopen')
>>> # We can be verbose if we want to :)
>>> urllib.urlopen(mox.IgnoreArg()).AndRaise(
...   IOError('socket error', (-2, 'Name or service not known')))

>>> # Let's check if it works
>>> m.ReplayAll()
>>> urllib.urlopen('http://www.google.com/')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/lib/python2.5/site-packages/mox.py", line 568, in __call__
    raise expected_method._exception
IOError: [Errno socket error] (-2, 'Name or service not known')

>>> # yay! now unset everything
>>> m.UnsetStubs()
>>> m.VerifyAll()
>>> # and check that it still works
>>> urllib.urlopen('http://www.google.com/')
<addinfourl at 3076773548L ...>
于 2008-11-17T12:49:46.103 に答える
15

HTTPrettyは、FakeWeb とまったく同じように機能します。HTTPretty はソケット レイヤーで動作するため、python http クライアント ライブラリをインターセプトして動作するはずです。urllib2、httplib2、およびリクエストに対してバトルテスト済みです

import urllib2
from httpretty import HTTPretty, httprettified


@httprettified
def test_one():
    HTTPretty.register_uri(HTTPretty.GET, "http://yipit.com/",
                           body="Find the best daily deals")

    fd = urllib2.urlopen('http://yipit.com')
    got = fd.read()
    fd.close()

    assert got == "Find the best daily deals"
于 2012-11-08T20:01:37.407 に答える
9

モジュールをロードしたくない場合：

import sys,types
class MockCallable():
  """ Mocks a function, can be enquired on how many calls it received """
  def __init__(self, result):
    self.result  = result
    self._calls  = []

  def __call__(self, *arguments):
    """Mock callable"""
    self._calls.append(arguments)
    return self.result

  def called(self):
    """docstring for called"""
    return self._calls

class StubModule(types.ModuleType, object):
  """ Uses a stub instead of loading libraries """

  def __init__(self, moduleName):
    self.__name__ = moduleName
    sys.modules[moduleName] = self

  def __repr__(self):
    name  = self.__name__
    mocks = ', '.join(set(dir(self)) - set(['__name__']))
    return "<StubModule: %(name)s; mocks: %(mocks)s>" % locals()

class StubObject(object):
  pass

その後：

>>> urllib = StubModule("urllib")
>>> import urllib # won't actually load urllib

>>> urls.urlopen = MockCallable(StubObject())

>>> example = urllib.urlopen('http://example.com')
>>> example.read = MockCallable('foo')

>>> print(example.read())
'foo'
于 2011-07-11T00:12:41.583 に答える
8

おそらくこれを処理する最善の方法は、コードを分割して、ページのコンテンツを処理するロジックをページを取得するコードから分割することです。

次に、フェッチャー コードのインスタンスを処理ロジックに渡すと、ユニット テスト用のモック フェッチャーに簡単に置き換えることができます。

例えば

class Processor(oject):
    def __init__(self, fetcher):
        self.m_fetcher = fetcher

    def doProcessing(self):
        ## use self.m_fetcher to get page contents

class RealFetcher(object):
    def fetchPage(self, url):
        ## get real contents

class FakeFetcher(object):
    def fetchPage(self, url):
        ## Return whatever fake contents are required for this test
于 2008-11-17T12:23:30.413 に答える
3

最も簡単な方法は、必ずしも urllib.urlopen を使用しないように関数を変更することです。これがあなたの元の関数だとしましょう：

def my_grabber(arg1, arg2, arg3):
    # .. do some stuff ..
    url = make_url_somehow()
    data = urllib.urlopen(url)
    # .. do something with data ..
    return answer

URL を開くために使用する関数である引数を追加します。次に、必要なことを行うためのモック関数を提供できます。

def my_grabber(arg1, arg2, arg3, urlopen=urllib.urlopen):
    # .. do some stuff ..
    url = make_url_somehow()
    data = urlopen(url)
    # .. do something with data ..
    return answer

def test_my_grabber():
    my_grabber(arg1, arg2, arg3, urlopen=my_mock_open)
于 2008-11-17T12:26:06.337 に答える