1

R を使用して Web ページの読み込み時間をテストするというアイデアを試し始めました。そのための小さな R コードを考案しました。

page.load.time <- function(theURL, N = 10, wait_time = 0.05)
{
    require(RCurl)
    require(XML)
    TIME <- numeric(N)
    for(i in seq_len(N))
    {
        Sys.sleep(wait_time)
        TIME[i] <- system.time(webpage <- getURL(theURL, header=FALSE, 
                                                 verbose=TRUE) )[3]
    }
    return(TIME)
}

そして、いくつかの方法であなたの助けを歓迎します:

  1. 同じことを行うことは可能ですが、ページのどの部分がどの部分をロードしたかを知ることもできますか? (Yahoo のYSlowのようなもの)
  2. 次のエラーが発生することがあります-

curlPerform(curl = curl, .opts = opts, .encoding = .encoding) のエラー: ピアタイミングからデータを受信するときに失敗しました: 0.03 0 43.72 で停止しました

これを引き起こしている原因と、そのようなエラーをキャッチして破棄する方法についての提案はありますか?

上記の機能を改善する方法を考えられますか?

更新：機能をやり直しました。今は痛いほど遅いです...

one.page.load.time <- function(theURL, HTML = T, JavaScript = T, Images = T, CSS = T)   
{
    require(RCurl)
    require(XML)
    TIME <- NULL


    if(HTML) TIME["HTML"] <- system.time(doc <- htmlParse(theURL))[3]
    if(JavaScript) {
        theJS <- xpathSApply(doc, "//script/@src")  # find all JavaScript files
        TIME["JavaScript"] <- system.time(getBinaryURL(theJS))[3]
    } else ( TIME["JavaScript"] <- NA)
    if(Images) {
        theIMG <- xpathSApply(doc, "//img/@src")    # find all image files
        TIME["Images"] <- system.time(getBinaryURL(theIMG))[3]
    } else ( TIME["Images"] <- NA)
    if(CSS) {
        theCSS <- xpathSApply(doc, "//link/@href")  # find all "link" types
        ss_CSS <- str_detect(tolower(theCSS), ".css")   # find the CSS in them
        theCSS <- theCSS[ss_CSS]
        TIME["CSS"] <- system.time(getBinaryURL(theCSS))[3]
    } else ( TIME["CSS"] <- NA)

    return(TIME)
}



page.load.time <- function(theURL, N = 3, wait_time = 0.05,...)
{
    require(RCurl)
    require(XML)
    TIME <- vector(length = N, "list")
    for(i in seq_len(N))
    {
        Sys.sleep(wait_time)
        TIME[[i]] <- one.page.load.time(theURL,...)
    }
    require(plyr)
    TIME <- data.frame(URL = theURL, ldply(TIME, function(x) {x}))
    return(TIME)
}

a <- page.load.time("http://www.r-bloggers.com/", 2)
a
4

2 に答える 2

2

getURL 呼び出しは 1 つの要求のみを実行し、Web ページのソース HTML を取得します。CSS、Javascript、またはその他の要素は取得されません。これが Web ページの「部分」の意味である場合、それらの部分 (SCRIPT タグ、または css 参照など) のソース HTML をスクレイピングし、タイミングを合わせて個別に getURL する必要があります。

于 2011-04-25T08:46:17.503 に答える
1

おそらく、Omegahat の Spidermonkey が機能する可能性があります。 http://www.omegahat.org/SpiderMonkey/

于 2011-04-25T12:32:16.683 に答える