标签：Java js 爬取 WebClient false getOptions webClient 页面

大多数都是python，但是Java爬虫的优势就是可以使用多线程；

Java爬虫主要有WebMagic和WebClient，WebMagic框架比较好操作一些

WebMagic

关于WebMagic很简单看文档即可：http://webmagic.io/docs/zh/
主要是四大部分；基于httpClient下载页面；

但是在爬取js渲染的页面内容时，会无法解析该部分内容；也可能是我还没有了解到解决办法；目前使用WebClient解决的

WebClient

WebClient内容很多，这里只放爬虫的代码：

<!-- https://mvnrepository.com/artifact/org.jsoup/jsoup -->
 <dependency>
     <groupId>org.jsoup</groupId>
     <artifactId>jsoup</artifactId>
     <version>1.13.1</version>
 </dependency>
 <!-- https://mvnrepository.com/artifact/net.sourceforge.htmlunit/htmlunit -->
 <dependency>
     <groupId>net.sourceforge.htmlunit</groupId>
     <artifactId>htmlunit</artifactId>
     <version>2.43.0</version>
 </dependency>

@Slf4j
@Component
public class SpiderUtils {

    /** 爬取后的页面初始页面内容 */
    public static String pageCon;
    /** 需要爬取页面：*** */
    public static String url = "http://******爬取的页面*****";

    // 每小时爬取一次
    @Scheduled(initialDelay = 1000, fixedDelay = 60 * 60 * 1000)
    public static void spiderRun() {
        log.info("======>爬取URL{}",url);
        final WebClient webClient = new WebClient(BrowserVersion.CHROME);   // 新建一个模拟谷歌Chrome浏览器的浏览器客户端对象

        webClient.getOptions().setThrowExceptionOnScriptError(false);   // 当JS执行出错的时候是否抛出异常, 这里选择不需要
        webClient.getOptions().setThrowExceptionOnFailingStatusCode(false); // 当HTTP的状态非200时是否抛出异常, 这里选择不需要
        webClient.getOptions().setActiveXNative(false); // 不启用ActiveX
        webClient.getOptions().setCssEnabled(false);    // 是否启用CSS, 因为不需要展现页面, 所以不需要启用
        webClient.getOptions().setJavaScriptEnabled(true);  // 很重要，启用JS
        webClient.getOptions().setDownloadImages(false);    // 不下载图片
        webClient.setAjaxController(new NicelyResynchronizingAjaxController()); // 很重要，设置支持AJAX

        webClient.waitForBackgroundJavaScript(5 * 1000);   // 异步JS执行需要耗时,所以这里线程要阻塞30秒,等待异步JS执行结束

        HtmlPage page = null;
        try {
            page = webClient.getPage(url);  // 尝试加载给出的网页
        } catch (Exception e) {
            log.info("======>【严重】爬取失败：{}",url);
            e.printStackTrace();
        } finally {
            webClient.close();
        }

        String pageXml = page.asXml();  // 直接将加载完成的页面转换成xml格式的字符串

        pageCon = pageXml;
    }

}

原文地址：https://blog.csdn.net/qq_41813208/article/details/107970792

关于爬虫的具体细节设置比较重要：
HTTP基本内容需要了解：https://developer.mozilla.org/zh-CN/docs/Web/HTTP

标签：Java,js,爬取,WebClient,false,getOptions,webClient,页面
来源： https://www.cnblogs.com/a999/p/15657542.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。