python - ツイッターからのコーパス

Question

私は開発者として Twitter を使用するのは初めてです。誰かがツイートの ID を使用してデータセットをダウンロードできることがわかりました。ただし、twitter API にはダウンロードの制限があります。

これを行うより速い方法はありますか？

Answer 1

ユーザー名のツイートを取得したいだけの場合は、次のように実行できます。

import httplib
import json
import urllib2
import pprint

def feed(username, messages=50):
    template = 'https://api.twitter.com/1/statuses/user_timeline.json?' + \
               'include_entities=false&include_rts=true&screen_name=%s&count=%i'
    url    = template % (username, messages)
    output = urllib2.urlopen(url)
    html   = ''.join(output.readlines())
    tweet  = json.loads(html)
    # pprint.pprint(tweet)
    return list(map(lambda t : t['text'], tweet))

result = feed('noelevans', messages=100)

Answer 2

ユーザー名を持っていない場合でも、これを実行して一連のツイートを取得できます。

import httplib
import json
import urllib2
import pprint

def feed(ids):
    result   = []
    template = 'https://api.twitter.com/1/statuses/show.json?id=%i&include_entities=true'
    for id in ids:
        url    = template % id
        output = urllib2.urlopen(url)
        html   = ''.join(output.readlines())
        tweet  = json.loads(html)
        # pprint.pprint(tweet)
        result.append(tweet['text'])
    return result

tweets = [277496833788489728, 276760134124969984]
result = feed(tweets)