java - htmlユニットでリンクをクリックすると同じページが返ってきてJavaでデッドロック状態になる

Question

私は最近、htmlユニットを介してページをシミュレートできることを読みました。

私の論文にも同様の要件があります。特定のリンクのすべてのコメントをデータベースに取得する必要があります。現在ヤフーニュースを担当しています。

「http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-head-dead-184541137.html」リンクを使用しているとしましょう。現在、そのリンクには 125 のコメントがあります。ページを開いてさらにコメントを表示すると、10 個の表示が表示されます。「More」リンクを押す必要があります。その後、ajax リクエストがサーバーに入り、さらに 10 個のコメントが表示されます。現在、次のコードを使用してすべてのコメントを取得しています。

       String google = "http://news.yahoo.com/yemen-says-regional-al-qaedas-deputy-  head-dead-184541137.html";


        WebClient webClient = new WebClient();
         HtmlPage page1 = webClient.getPage(google);
         HtmlAnchor advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");


        while(true){
            if(advancedSearchAn == null){
                String text = page1.asText();
           System.out.println(text);
                break;
            }
           page1 = advancedSearchAn.click();
           advancedSearchAn = (HtmlAnchor)page1.getElementById("ugccmt-view-more");

最初の10個のコメントと同じページが表示されるだけなので、このコードで私が間違っていることを誰かが教えてくれますか?