私のウェブサイトには、jquery ツイート プラグイン tweet.seaofclouds.com と、サード パーティのウェブサイトから json フィードを取得するその他の json プラグインを利用した twitter フィードがあります。
問題は、Twitter API では 1 時間あたり 150 回の呼び出ししか許可されていないため、1 時間あたり 40 人の訪問者がいて、訪問者 1 人あたりの平均ページビュー数が 5 である場合、その最大値をはるかに超えてしまうことです。特に、Twitter がフィードのキャッシュを無効にして以来。
また、クッキー法の問題もあります。Twitter は、フィードが要求されたときに Cookie をドロップしますが、ドロップするには許可が必要なため不要なので、完全に無効にしたいと考えています。
また、私の Web サイトは SSL で保護されており、外部リソースの読み込みを最小限に抑えたいと考えています。すべてローカライズしたいと考えています。
これらの json フィードをローカルにキャッシュするにはどうすればよいですか?
この問題のために、json フィードを保存し、必要に応じてフェッチして返す独自のデータベース保存メカニズムを作成しました。そうすれば、5 分ごとに取得するだけで済み、取得する訪問者/ページビューの量は関係ありません。
これがmysqlのデータベース作成コードです
CREATE TABLE IF NOT EXISTS `twitterbackup` (
`url` text NOT NULL,
`tijd` int(11) NOT NULL,
`inhoud` text NOT NULL,
FULLTEXT KEY `url` (`url`)
) ENGINE=MyISAM DEFAULT CHARSET=latin1;
次に、PHP では、何が得られるか分からないため、このコードにいくつかのセキュリティ チェックを加えています。
<?php
/* JSON Backup script written by Michael Dibbets
* Copyright 2012 by Michael Dibbets
* http://www.facebook.com/michael.dibbets - mdibbets[at]outlook.com
* Licenced under the MIT license http://opensource.org/licenses/MIT
*/
// Basic sql injection protection.
// Using explode because str_replace fails to many times when certain character combinations exist.
// Replace, remove as you see fit. This setup works for my server, and str_replace works on another.
// Use whatever has your fancy
function protect($s)
{
$s = mysql_real_escape_string($s);
$s = implode(" ",explode(";",$s));
$s = implode(" ",explode("UNION",$s));
$s = implode(" ",explode("BENCHMARK",$s));
$s = implode(" ",explode("WAITFOR DELAY",$s));
$s = implode(" ",explode("LOAD_FILE",$s));
$s = implode(" ",explode("OUTFILE",$s));
$s = implode(" ",explode("INFORMATION_SCHEMA",$s));
$s = implode(" ",explode("Char(",$s));
$s = implode(" ",explode("CAST(",$s));
return $s;
}
function get_data($url)
{
// Initialise data to have at least something to work with
$data = "";
// What time is it?
$now = strtotime("now");
// Connect to our database
$db = mysqli_connect("localhost", "USERNAME", "PASSWORD", "DATABASE");
if (mysqli_connect_errno($mysqli))
{
die("ARGH!");
}
// Basic protection agains sql injection by banning unsafe words
$saveurl = protect($url);
// Count how many times the url has been found.
$count = $db->query("SELECT count(*) as counter FROM twitterbackup WHERE `url`='$saveurl'")->fetch_assoc();
// Has the url been found?
if($count['counter'] == 0)
{
// Fetch twitter json
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);
$data = curl_exec($ch);
curl_close($ch);
// make the json data database safe
$data = str_replace('\\','\\\\',$data);
$data = mysql_real_escape_string($data);
//$data = mysql_real_escape_string($data);
// Enter json data in the database
$db->query("INSERT INTO `DATABASE`.`twitterbackup` (`url`, `tijd`, `inhoud`) VALUES ('$saveurl', '$now', '$data')");
// End of we have not found the url
}
// If the URL has been found
else
{
// get the values in the database that are connected to the url
$res = $db->query("SELECT * FROM twitterbackup WHERE `url`='$saveurl'")->fetch_assoc();
// Is the current json in database younger than five minutes?
if((int)$res['tijd'] < (int)strtotime("-5 minutes"))
{
// Fetch twitter json with curl
$ch = curl_init();
$timeout = 5;
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
curl_setopt($ch,CURLOPT_URL,$url);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,1);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,$timeout);
$data = curl_exec($ch);
curl_close($ch);
// Make the json data safe for the database
$data = str_replace('\\','\\\\',$data);
$data = mysql_real_escape_string($data);
// Update the database with the most recent feed
$db->query("UPDATE `DATABASE`.`twitterbackup` SET
`tijd` = '$now',
`inhoud` = '$data'
WHERE `twitterbackup`.`url` = '$saveurl'");
// End if the url has been found and lifetime is older than five minutes
}
// If the lifetime isn't older then 5 minutes
else
{
// return database content
$data = $res['inhoud'];
}
// end of if we have found the url
}
// try to beat mysql_real_escape_string to return valid json. Always check valid json returend and edit this if it fails at some piece. Try http://jsonlint.com/
$data = str_replace('\\"','"',$data);
// implode because str_replace won't do everthing for some reason I can't understand.
$data = implode('\\',explode('\\\\',$data));
// Data retourneren
return $data;
// end check if it's from the twitter api
}
// End of function get_data();
// How long may the json be cached by browser(to stop unneccesary requests in this case 5 minutes)
$seconds_to_cache = 5*60;
$ts = gmdate("D, d M Y H:i:s", time() + $seconds_to_cache) . " GMT";
header("Expires: $ts");
header("Pragma: cache");
header("Cache-Control: max-age=$seconds_to_cache");
header('Content-type: application/json');
echo get_data($_GET['url']);
?>
次に、twitter.js で、次のように getJSON url を置き換えて、ローカル サーバーを指すようにするだけです (jquery.tweet.js の下部のどこかにこの行があります)。
探す：$.getJSON(build_api_url()).success(function(data){
交換：
// For debug purposes
// console.log("/scripts/twitter/tweet/curlthispage.php?url="+encodeURIComponent(build_api_url()));
$.getJSON("/scripts/twitter/tweet/curlthispage.php?url="+encodeURIComponent(build_api_url())).success(function(data){