API から製品データを要求し、それらを で解析し、モジュールを適用して、応答を Postgresql データベースに保存するDjango
ビューを設定しています。BeautifulSoup
googletrans
昨日はすべてが正常に機能していましたが、突然、Google が一度に多すぎるリクエストに対して私の IP アドレスへのアクセスをブロックしました..
LTEをオンにしてIPアドレスを変更したところ、うまくいきました。
しかし今、この IP アドレスで再び同じことが起こらないようにするために、googletrans
API をバッチで呼び出す方法、または再度ブロックされないようにするその他の解決策を見つける必要があります。
これは私の見解です:
from bs4 import BeautifulSoup
from googletrans import Translator
import requests
import json
def api_data(request):
if request.GET.get('mybtn'): # to improve, == 'something':
resp_1 = requests.get(
"https://www.headout.com/api/public/v1/product/listing/list-by/city?language=fr&cityCode=PARIS&limit=5000¤cyCode=CAD",
headers={
"Headout-Auth": HEADOUT_PRODUCTION_API_KEY
})
resp_1_data = resp_1.json()
base_url_2 = "https://www.headout.com/api/public/v1/product/get/"
translator = Translator()
for item in resp_1_data['items']:
print('translating item {}'.format(item['id']))
# concat ID to the URL string
url = '{}{}'.format(base_url_2, item['id'] + '?language=fr')
# make the HTTP request
resp_2 = requests.get(
url,
headers={
"Headout-Auth": HEADOUT_PRODUCTION_API_KEY
})
resp_2_data = resp_2.json()
descriptiontxt = resp_2_data['contentListHtml'][0]['html'][0:2040] + ' ...'
#Parsing work
soup = BeautifulSoup(descriptiontxt, 'lxml')
parsed = soup.find('p').text
#Translation doesn't work
translation = translator.translate(parsed, dest='fr')
titlename = item['name']
titlefr = translator.translate(titlename, dest='fr')
destinationname = item['city']['name']
destinationfr = translator.translate(destinationname, dest='fr')
Product.objects.get_or_create(
title=titlefr.text,
destination=destinationfr.text,
description=translation.text,
link=item['canonicalUrl'],
image=item['image']['url']
)
return render(request, "form.html")
Batch で Google 翻訳 API を呼び出すにはどうすればよいですか? または、それに対する他の解決策はありますか?
助けてください。
編集
@ ddor254に基づいて、どこに置く必要がありますtime.sleep(2)
か?
これが出てきたのですが、これでいいですか?
Product.objects.get_or_create(
title=titlefr.text,
destination=destinationfr.text,
description=translation.text,
link=item['canonicalUrl'],
image=item['image']['url']
)time.sleep(2) #here
またはこのように:
resp_1 = requests.get(
"https://www.headout.com/api/public/v1/product/listing/list-by/city?language=fr&cityCode=PARIS&limit=5000¤cyCode=CAD",
headers={
"Headout-Auth": HEADOUT_PRODUCTION_API_KEY
}, time.sleep(2)) #here
この新しい IP もブロックされる危険を冒す前に、それが正しい方法であることを確認したいだけです。