标签：10 扒取 网页 String newsUrl new java e1 title123

1.扒取原网页内容：

2.本地展示效果

3.代码

 3     @ResponseBody
 4     public Map<String, Object> findGuoWuYaoWen(HttpServletRequest request, ModelMap model, String area,String city) {
 5         Map<String, Object> map = new HashMap<String, Object>();
 6         Map<String, Object> result = new HashMap<String, Object>();
 7         List<NationalNews> nationalList = new ArrayList<>();
 8         String title,newsUrl,time;
 9         
10         Elements elements = getUrlElements();
11         System.out.println("========================"+elements.toString());
12         List<Element> subList = elements.subList(0, 9);
13         for (Element element : subList) {
14              String  title123 = element.text();
15              title =title123.substring(0, title123.length()-10) ;
16              newsUrl = element.select("a").attr("href");
17              if(!newsUrl.contains("www")){
18                  newsUrl="http://www.gov.cn"+newsUrl;     
19              }
20              time = title123.substring(title123.length()-10,title123.length());
21                 
22              NationalNews nationalNews = new NationalNews(title, newsUrl, time);
23              
24              System.out.println(title+"=========================="+newsUrl+"=========================="+time);
25              
26              nationalList.add(nationalNews);
27         }
28         result.put("dataList", nationalList);
29         return result;
30     }

 1 　　　private Elements getUrlElements() {
 2         System.out.println("=======================================抓取国家政府网内容任务开始了=======================================");
 3         String url = "http://www.gov.cn/pushinfo/v150203/index.htm";
 4         CloseableHttpClient httpClient = HttpClients.createDefault();
 5         Elements elementsByTag = null;
 6         
 7         try {
 8             HttpGet httpGet = new HttpGet(url);
 9             CloseableHttpResponse response = httpClient.execute(httpGet);
10             try {
11                 HttpEntity entity = response.getEntity();
12                 //设置编码格式否则乱码
13                 String html = new String(EntityUtils.toString(entity).getBytes("iso8859-1"));
14                 
15                  Document document = Jsoup.parse(html);
16                  elementsByTag = document.getElementsByTag("li");
17             }finally {     
18                  response.close();
19             }
20         } catch (ClientProtocolException e1) {
21             e1.printStackTrace();
22         } catch (IOException e1) {
23             e1.printStackTrace();
24         }finally {
25             // 关闭连接,释放资源
26             try {
27                 httpClient.close();
28             } catch (IOException e) {
29                 e.printStackTrace();
30             }
31         }
32         
33         return elementsByTag;
34     }

标签：10,扒取,网页,String,newsUrl,new,java,e1,title123
来源： https://www.cnblogs.com/irishua/p/11099026.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。