标签：笑傲 Java url private util new import 面霸 public

download: 笑傲Java面试：面霸修炼手册

download: 笑傲Java面试：面霸修炼手册

package com.zzger.model;

import java.util.ArrayList;
import java.util.Collections;
import java.util.List;
import java.util.concurrent.CountDownLatch;

import com.zzger.module.queue.UrlQueue;
import com.zzger.util.HttpUtils;
import com.zzger.util.RegexUtils;

public class WebSite {

/**
 * 站点url
 */
private String url;

/**
 * 需要爬行的url队列
 */
private UrlQueue<String> urls = new UrlQueue<>();

/**
 * 已爬行过的页面url
 */
private List<String> exitUrls = Collections.synchronizedList(new ArrayList<>());

private static final int TOTAL_THREADS = 12;  

private final CountDownLatch mStartSignal = new CountDownLatch(1);  

private final CountDownLatch mDoneSignal = new CountDownLatch(TOTAL_THREADS);   

public WebSite(String url){
    this.url = url;
    urls.offer(url);//把网站首页加入需要爬行的队列中
}

public void guangDu(){
    new Thread(new Runnable() {
        @Override
        public void run() {
            paxing(HttpUtils.httpGet(url));
        }
    }).start();
}

public void paxing(String html){
    if(html.lastIndexOf("下一页</a></li></ul></div>")<0)    return ;
    String strList = html.substring(html.indexOf("<li class=\\"next-page\\">"), 
            html.lastIndexOf("下一页</a></li></ul></div>"));
    String url = RegexUtils.RegexString("<a href=\\"(.+?)\\"", strList);
    if(url.equals("Nothing")) return ;
    urls.put(url);//把url存储到队列中
    paxing(HttpUtils.httpGet(url));
}

public void dxcPx(){
    Page<DuanZi> page = new Gxpage(urls.take());
    List<Section<DuanZi>> list = page.ybhqSection().getSections();
    for(Section<DuanZi> section : list){
        new Thread(new Runnable() {
            @Override
            public void run() {
                mStartSignal.countDown();// 计数减一为0，工作线程真正启动具体操作   
                try {
                    mStartSignal.await();// 阻塞，等待mStartSignal计数为0运行后面的代码   
                    // 所有的工作线程都在等待同一个启动的命令   
                } catch (InterruptedException e) {
                    e.printStackTrace();
                }
                DuanZi duanzi = section.select().getModel();
                System.out.println(duanzi.getTitle());
                mDoneSignal.countDown();// 完成以后计数减一   
            }
        }
        ).start();
    }
    try
    {  
        mDoneSignal.await();// 等待所有工作线程结束   
    }  
    catch (InterruptedException e)  
    {  
        e.printStackTrace();  
    }  
    dxcPx();//线程任务执行完后，再次获取url队列进行任务
}
public static void main(String[] args) {
    WebSite web = new WebSite("http://duanziwang.com");
    web.guangDu();
    for(int i = 0; i<10;i++){
        new Thread(new Runnable() {
            @Override
            public void run() {
                web.dxcPx();
            }
        }).start();
    }

}

}

标签：笑傲,Java,url,private,util,new,import,面霸,public
来源： https://blog.51cto.com/15146512/2672544

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。