2

Python 2.7でbrodを使用して、geventを使用してkafka 0.7.2に書き込もうとしています。

ここに私が得るエラーメッセージがあります。ブロッキングが原因だと思います。brod は tornado をサポートしていますが、私は gevent を使用しています。

No handlers could be found for logger "brod.socket"
Traceback (most recent call last):
  File "/var/chef/cache/src/gevent/gevent/greenlet.py", line 328, in run
    result = self._run(*self.args, **self.kwargs)
  File "worker_server.py", line 204, in execute_kafka_pipe
    kafka.produce(topic,payload)
  File "/usr/local/lib/python2.7/dist-packages/brod-0.3.2-py2.7.egg/brod/base.py", line 287, in produce
    return self._write(request, callback)
  File "/usr/local/lib/python2.7/dist-packages/brod-0.3.2-py2.7.egg/brod/blocking.py", line 98, in _write
    return self._write(data, callback, retries)
  File "/usr/local/lib/python2.7/dist-packages/brod-0.3.2-py2.7.egg/brod/blocking.py", line 89, in _write
    wrote_length += self._socket.send(data)
  File "/var/chef/cache/src/gevent/gevent/socket.py", line 441, in send
    self._wait(self._write_event)
  File "/var/chef/cache/src/gevent/gevent/socket.py", line 292, in _wait
    assert watcher.callback is None, 'This socket is already used by another greenlet: %r' % (watcher.callback, )
AssertionError: This socket is already used by another greenlet: <bound method Waiter.switch of <gevent.hub.Waiter object at 0x1dece60>>
<Greenlet at 0x1d4b9b0: execute_kafka_pipe('topic-spend', '{"enode": 1, "city": "Cairns", "dl": "en", "wnode)> failed with AssertionError

gevent-kakfa を使用しようとしましたが、gevent-zookeeper に依存しています。

Zookeeper に接続しようとすると、次のメッセージが表示されます。

Traceback (most recent call last):
  File "/home/ubuntu/workspace/rtbhui-devops/servers/worker_server.py", line 68, in <module>
    framework = gevent_zookeeper.ZookeeperFramework('localhost:2181', 10)
  File "/usr/local/lib/python2.7/dist-packages/gevent_zookeeper/framework.py", line 241, in __init__
    self.client = ZookeeperClient(hosts, timeout)
  File "/usr/local/lib/python2.7/dist-packages/gevent_zookeeper/client.py", line 211, in __init__
    self._event = gevent.core.event(
AttributeError: 'module' object has no attribute 'core'
Exception AttributeError: "'ZookeeperClient' object has no attribute '_event'" in <bound method ZookeeperClient.__del__ of <gevent_zookeeper.client.ZookeeperClient object at 0x274ded0>> ignored

動作する gevent を使用してメッセージを書き込むことができる Python ライブラリはありませんか?

4

2 に答える 2

2

https://github.com/hmahmood/kafka-python/tree/gevent-implを試すことができます

これは現在、メインラインの kafka-python ライブラリへの PR のために提出されています。

https://github.com/mumrah/kafka-python/pull/145

于 2014-03-28T05:19:08.690 に答える
1

ピカフカを試す

gevent で使用されるセレクターを渡すことで kafka-python を構成できるはずですが、

于 2016-12-05T12:47:18.920 に答える