标签：element1 getElementsByTag get System 爬取 Jsoup println LOGO out

    @Test
    public void test4() throws IOException {
        for (int i = 65; i <= 90; i++) {
            String value = String.valueOf((char) i);

            FileUtil.mkdir("e://pinpai//" + value);

            System.out.println("***********************" + value);
            String url = "https://www.autohome.com.cn/grade/carhtml/" + value + ".html";
            Document document = Jsoup.parse(new URL(url), 300000);
            document.getElementsByTag("dl").stream().forEach(element -> {
                String imgUrl = "https:" + element.getElementsByTag("dt").get(0).getElementsByTag("img").get(0).attr("src");
                String mainBrand = element.getElementsByTag("dt").get(0).getElementsByTag("a").get(1).text();

                //图片LOG
                System.out.println(imgUrl);
                //System.out.println(HttpUtil.downloadFile(imgUrl, FileUtil.file("e://pinpai//" + value)));
                //主品牌
                System.out.println(mainBrand);
                //子品牌
                element.getElementsByTag("dd").get(0).getElementsByClass("h3-tit").tagName("a").stream().forEach(element1 -> {
                    System.out.println(element1.text());
                    //车系
                    List<String> seriesBrand = element1.nextElementSibling().getElementsByTag("h4").stream().map(Element::text).collect(Collectors.toList());
                    System.out.println();

                    //vehicleBrandService.save(VehicleBrand.builder().flag(value).logoBrand(imgUrl).mainBrand(mainBrand).subBrands(element1.text()).seriesBrand(JSON.toJSONString(seriesBrand)).build());
                });
                System.out.println("-----------");
            });
        }
    }

标签：element1,getElementsByTag,get,System,爬取,Jsoup,println,LOGO,out
来源： https://www.cnblogs.com/luliang888/p/14034489.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。