java - java.lang.IllegalArgumentException JavaでJsoupを使用する場合

Question

Web ページをクロールして画像を保存するコードを作成しました。何らかの理由で、修正方法がわからないというエラーが表示されます。

インデックスを作成しているすべての画像が実際に存在することを確認する方法を使用しているため、なぜこれが起こっているのかわかりません。

ここに私のコードがあります:

import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import java.net.*;
import java.awt.Image;
import java.awt.image.RenderedImage;
import java.io.*;

import java.io.IOException;

import javax.imageio.ImageIO;
import javax.imageio.ImageReader;
import javax.imageio.stream.ImageInputStream;

public class jsoup {
    public static void main(String[] args) throws IOException {
    crawl("http://www.istockphoto.com/photo");
}

public static void crawl(String crawlurl) throws IOException{
    Document doc = Jsoup.connect(crawlurl).get();
    getImgFromLinks(doc);
}

public static void getImgFromLinks(Document doc) throws IOException{
    Elements links = doc.select("a[href]");
    //System.out.println(links);

    for(int i=0;i<links.size();i++){
        if(exists(links.get(i).attr("href"))){
            System.out.println("crawled: " + links.get(i).attr("href"));
            getImages(doc, links.get(i).attr("href"));
        }else{
            System.out.println("I couldnt crawl: " + links.get(i).attr("href"));
        }
    }
}

public static String smartUrl(String url, String src) {
    if(exists(src)){
        return(src);
    }else{
        return(url + src);
    }
}


public static void getImages(Document doc, String url) throws IOException{



      for(int i=0; i<doc.getElementsByTag("img").size();i++){
            Element image = doc.select("img").get(i);
            String imgsrc = image.attr("src");
            if(imgsrc.toLowerCase().contains("png") || imgsrc.toLowerCase().contains("jpg") || imgsrc.toLowerCase().contains("jpeg") || imgsrc.toLowerCase().contains("gif")){

            int slashIndex = smartUrl(url, imgsrc).lastIndexOf('/');
            String finalUrl = smartUrl(url, imgsrc).substring(slashIndex);

            URL imgurl = new URL(smartUrl(url, imgsrc));

            if(exists(imgurl.toString())){
            Image crawledimg = ImageIO.read(imgurl);


            ImageIO.write((RenderedImage) crawledimg, "gif",new File("/Users/Jonathan/Desktop/crawledimages" + finalUrl));


            System.out.println("I got an image from:" + url + " Image Name: " + finalUrl);
            }

        }
        }


}


public static boolean exists(String URLName) {
    try {
      HttpURLConnection.setFollowRedirects(false);

    //HttpURLConnection.setInstanceFollowRedirects(false);
      HttpURLConnection con =
         (HttpURLConnection) new URL(URLName).openConnection();
      con.setRequestMethod("HEAD");
      return (con.getResponseCode() == HttpURLConnection.HTTP_OK);
    }
    catch (Exception e) {
       return false;
    }
  }
}

出力は次のとおりです。

crawled: http://www.istockphoto.com/
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /facebook.png
I got an image from:http://www.istockphoto.com/ Image Name: /twitter.png
I got an image from:http://www.istockphoto.com/ Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/ Image Name: /cartWhite.png
I couldnt crawl: #
I couldnt crawl: http://www.istockphoto.com/sign-in/aHR0cCUzQSUyRiUyRnd3dy5pc3RvY2twaG90by5jb20lMkZwaG90bw==
I couldnt crawl: http://www.istockphoto.com/join/aHR0cCUzQSUyRiUyRnd3dy5pc3RvY2twaG90by5jb20lMkZwaG90bw==
crawled: http://www.istockphoto.com/photo
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
I got an image from:http://www.istockphoto.com/photo Image Name: /facebook.png
I got an image from:http://www.istockphoto.com/photo Image Name: /twitter.png
I got an image from:http://www.istockphoto.com/photo Image Name: /blank.gif
 Exception in thread "main" java.lang.IllegalArgumentException: im == null!
at javax.imageio.ImageIO.write(ImageIO.java:1457)
at javax.imageio.ImageIO.write(ImageIO.java:1527)
at jsoup.getImages(jsoup.java:68)
at jsoup.getImgFromLinks(jsoup.java:34)
at jsoup.crawl(jsoup.java:24)
at jsoup.main(jsoup.java:19)

エラーが発生するまで、画像は保存されています。

誰でもこの問題を解決する方法を知っていますか?

また、何らかの理由で、ページ上の同じ画像が複数回保存されています。

お時間をいただきありがとうございます。

ジョナサン・オーレン。

score 1 · Accepted Answer

null内部を通過しているように見えますImageIO.write()

smartURL関数には、対処する必要のある欠陥があります。Webページから取得した画像URLから期待されるURLを作成していません。

例：画像ではないが同時にエラーページでもないsmartURLによって/static/images/cartWhite.png変換されます。http://www.istockphoto.com/photo/static/images/cartWhite.pngしたがってcrawledimg、ヌルが発生することを指しますIllegalArgumentException。

このための簡単な回避策は、内部URLのみで作成することです。http://www.istockphoto.comgetImages()

各ページに画像があるため、画像は複数回保存されます。これが起こらないように、画像のリストを維持することができます。

コードに別のショーストッパーが見つかりました。クロールしたウェブページから他の画像を取得することはできません。*.jpgウェブサイト上の画像はorなどで終わらないので*.png、始める前にウェブサイト上の画像のURLのパターンを調べる必要があります。

java - java.lang.IllegalArgumentException JavaでJsoupを使用する場合

1 に答える 1

Related

Reference