ICode9

精准搜索请尝试: 精确搜索
首页 > 其他分享> 文章详细

多线程爬虫

2019-03-01 14:40:41  阅读:108  来源: 互联网

标签:__ 执行 程序 爬虫 线程 进程 多线程


一、 程序,进程,线程

  1. 程序:由源代码生成的可执行应用。(例如:QQ,淘宝等)
  2. 进程:一个正在运行的程序可以看做一个进程,进程拥有独立运行所需要的全部资源。(例如:打开QQ相当于开启一个进程)
  3. 线程:程序中独立运行的代码段。(例如:在QQ这个进程中,传输文字是一个线程,传输语音是一个线程,弹出对话框是一个线程。)

一个程序至少拥有一个进程,一个进程至少拥有一个线程。进程负责资源的调度和分配,线程才是程序真正的执行单元,负责代码的执行。

二、单线程

原理:

  每个正在运行的程序(即进程),至少包含一个线程,这个线程叫做主线程,

主线程在程序启动时被创建,用于执行main函数,只有一个主线程的程序叫做单线

程程序,主线程负责执行程序的所有代码。这些代码只能顺序执行,无法并发执行。

 

 

三、多线程

多线程定义:

  多线程是指程序中包含多个执行流,即在一个程序中可以同时运

行多个不同的线程来执行不同的任务,也就是说允许单个程序创建多个并行执

行的线程来完成各自的任务。

 

多线程优点

  可以提高CPU的利用率。在多线程程序中,一个线程必须等待的

时候,CPU可以运行其它的线程而不是等待,这样就大大提高了程序的效率。

 

1.创建多线程的第一种写法(代码)

import time
import random
import threading

def download(i):
    """
    一个文件一个文件的下载,按顺序下载
    """
    print(f"----------------下载{i}文件开始-----------------")
    time.sleep(random.random()*10)
    print(f"---------------下载{i}文件开始------------------")


# 单线程(主线程)
if __name__ == '__main__':

    for i in range(5):
        # 创建线程 target参数传递的是这个线程需要执行的函数
        #         args参数传递的元组格式  实现文件同时下载
        t = threading.Thread(target=download, args=(i,))
        # 启动线程
        t.start()

  

 

 

 

 

 

 

标签:__,执行,程序,爬虫,线程,进程,多线程
来源: https://www.cnblogs.com/renshaoqi/p/10456231.html

本站声明: 1. iCode9 技术分享网(下文简称本站)提供的所有内容,仅供技术学习、探讨和分享;
2. 关于本站的所有留言、评论、转载及引用,纯属内容发起人的个人观点,与本站观点和立场无关;
3. 关于本站的所有言论和文字,纯属内容发起人的个人观点,与本站观点和立场无关;
4. 本站文章均是网友提供,不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属;如您发现该文章侵犯了您的权益,可联系我们第一时间进行删除;
5. 本站为非盈利性的个人网站,所有内容不会用来进行牟利,也不会利用任何形式的广告来间接获益,纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。

专注分享技术,共同学习,共同进步。侵权联系[81616952@qq.com]

Copyright (C)ICode9.com, All Rights Reserved.

ICode9版权所有