2

私はプログラマーではなく、Ruby 言語をほとんど知りません。Web サイトから製品情報を取得するスクレイピング プログラムがあります。HTTP 404 エラーを処理するためのレスキュー コードを追加しようとしています。そのため、スクレイピングは終了せず、次の製品に進みます。

以下のコードにレスキューを追加する必要があります。

        def initialize(id, log = nil, timeout_threshold = nil)
            
            @log_buffer = nil
            # prepare internal logging stream
            @log = (!log.nil? and log.is_a?(Logger)) ? log : Logger.new(@log_buffer=StringIO.new)
       
            begin           
                # store instance url address
                @id = id.to_s
                @url = Link::base_url + 'en-US/item_' + @id + '.htm'
                
                # set remote timeout threshold
                @timeout_threshold = (timeout_threshold.to_i > 0) ? timeout_threshold.to_i : 15
                @timeout = false
                
                @expired = false
                
                if url_verify
                    Timeout::timeout(@timeout_threshold) {
                        Mechanize.html_parser = Nokogiri::HTML
                        @@agent = Agent.instance
                        
                        ###TODO: [optional?] login 
                        ###TODO: [optional?] or login iff pricing not present?
                        ###TODO: Agent.get(user login page)
                        ###TODO: Agent.fill in user/pswd
                        ###TODO: Agent.submit
                        
                        @html = @@agent.get(url)
                        @log.info("Alamode Product #{@id.to_s}: Load #{url.to_s}")

                        @specification = parse_specifications
                        @quantity, @mapped_quantity = parse_quantities
                        @price = parse_price
                        @valid = true
                        
                        # check parsed page
                        if @specification.size.zero? and @quantity.size.zero?
                            @valid = false
                            @expired = true
                            @log.warn("Alamode Product #{@id.to_s}: #{url.to_s} unscrappable (product no longer available?)")
                        else
                            @log.info("stAlamode Product #{@id.to_s}: #{url.to_s} successfully parsed")
                            @log.info("    QTY #{@mapped_quantity.to_s}")
                        end
                    }

                else
                    # return error message
                    @valid = false
                    @log.error("Alamode Product #{@id.to_s}: #{url.to_s} is not a properly formatted URI address")
                end
              
            rescue Timeout::Error
                @valid = false
                @timeout = true
                @log.error("Alamode Product #{@id.to_s}: #{url.to_s} did not respond within allocated time")    
            end

        end
4

1 に答える 1

1

Ruby ではレスキュー句を積み重ねることができます。

begin
    ...
rescue YourErrorName
    ...
rescue Timeout::Error
    ...
end

new 句内では、静かに終了する (何もしない - 結果をログに記録したほうがよい) か、次の ID でスクラップを開始できます。私は Nokogiri に詳しくないので、自分でエラー名を理解する必要があります ;) がんばってください!

于 2013-03-28T14:03:39.963 に答える