1

URL呼び出しからのHTML出力を解析しようとしていますが、どうすればうまくいくか苦労しています。

次のコードを使用しています：

    import urllib2
    import base64 as b64
    import lxml.html as LH

    request = urllib2.Request('http://%s%s' % (fInput[1], fInput[2]))
    base64string = b64.encodestring('%s:%s' % (fInput[3], fInput[4])).replace('\n', '')
    request.add_header("Authorization", "Basic %s" % base64string)
    response = urllib2.urlopen(request)
    html = response.read()
    root = LH.fromstring(html)
    sibling_content = lambda x: [b.getparent().getnext().text_content() for b in root.cssselect("td b:contains('{0}')".format(x))]
    fields = ['groupList','namelist']


    for result in zip(*[sibling_content(field) for field in fields]):
        print result

出力を印刷したときの結果は次のとおりです。

('Admins', '\nme\nmyself\nirene')('guests', '\nhin\nhinself\nbacon')

私が必要とするものに適合する出力は、このような配列を持っているので、データベースに挿入できます:

['Admins', 'me','myself','nirene'],['guests', 'hin','hinself','bacon']

続いて、HTTP リクエストによって返された Html を送信します。

<BODY bgcolor="#dddddd">
   <TABLE bgcolor="#dddddd" border="1">
      <TR>
         <TD valign="top"><B>MainList</B></TD>
         <TD>
            <TABLE>
               <TR>
                  <TD>
                     <TABLE bgcolor="#dddddd" border="1">
                        <TR>
                           <TD valign="top"><B>groupList</B></TD>
                           <TD>Admins</TD>
                        </TR>
                        <TR>
                           <TD valign="top"><B>namelist</B></TD>
                           <TD>
                              <TABLE>
                                 <TR>
                                    <TD>me</TD>
                                 </TR>
                                 <TR>
                                    <TD>myself</TD>
                                 </TR>
                                 <TR>
                                    <TD>irene</TD>
                                 </TR>
                              </TABLE>
                           </TD>
                        </TR>
                     </TABLE>
                     <TABLE bgcolor="#dddddd" border="1">
                        <TR>
                           <TD valign="top"><B>groupList</B></TD>
                           <TD>guests</TD>
                        </TR>
                        <TR>
                           <TD valign="top"><B>namelist</B></TD>
                           <TD>
                              <TABLE>
                                 <TR>
                                    <TD>hin</TD>
                                 </TR>
                                 <TR>
                                    <TD>hinself</TD>
                                 </TR>
                                 <TR>
                                    <TD>bacon</TD>
                                 </TR>
                              </TABLE>
                           </TD>
                        </TR>
                     </TABLE>
                  </TD>
               </TR>
            </TABLE>
         </TD>
      </TR>
   </TABLE>
</BODY>

これをどのように機能させることができるかについてのアイデアはありますか?

前もって感謝します。

4

3 に答える 3

3

私はあなたの質問に少し混乱しています。向きを変える方法を聞いているだけですか？

('Members', '\nme\nmyself\nirene')('Members_2', '\nhin\nhinself\nbacon')

の中へ

['Members', 'me','myself','nirene'],['Members_2', 'hin','hinself','bacon']

簡単だ：

>>> x = [('Members', '\nme\nmyself\nirene'), ('Members_2', '\nhin\nhinself\nbacon')]
>>> [[y[0]] + y[1].splitlines()[1:] for y in x]

requests参考までに、 Python モジュールを見てください。すべてのダイジェストクラフトの代わりに、urllib2ただ書くことができます

requests.get(url, auth=(user, pass))
于 2013-01-10T13:14:35.927 に答える
1

使用xpath:

root=LH.fromstring(html)
[t.xpath('.//td[not(contains(.,"\n"))]/text()')
    for t in root.xpath('.//table[@bgcolor="#dddddd"]')]

アウト：

[['Admins', 'me', 'myself', 'irene'], ['guests', 'hin', 'hinself', 'bacon']]
于 2013-01-10T14:32:39.250 に答える
0

テキストコンテンツから空白を取り除くだけでうまくいくはずです。したがって、コードでは、次の行にストリップ呼び出しを追加できます。

sibling_content = lambda x: [b.getparent().getnext().text_content() .strip() for b in root.cssselect("td b:contains('{0}')".format(x))]

于 2013-01-10T13:14:11.647 に答える