Python中的并发编程

完善更新中......

一,并发编程简介

1.1 为什么要引入并发编程

        场景1:一个网络爬虫,按顺序爬取花了一小时,采用并发下载减少到20分钟

        场景2:一个App应用,优化前每次打开页面需要3秒,采用异步并发提升到每次200ms

        引入并发就是为了提升程序运行速度

1.2 有那些编程提速的方法

        

1.3 Python对并发编程的支持

•         多线程:threading,利用CPU和IO可以同时执行的原理,让CPU不会干巴巴的等待IO完成
•         多进程:multiprocessing,利用多核CPU的能力,真正的并行执行任务
•         异步IO:asynico,在单线程利用CPU和IO同时执行的原理,实现函数异步执行
•         锁:使用Lock锁对资源加锁,防止冲突访问
•         数据通信:使用Queue实现不同线程,进程之间的数据通信,实现生产者,消费者模式
•         Pool:使用线程池Pool/进程池Pool,简化线程/进程的任务提交,等待结束,获取结果等

二, python并发编程的选择

        python的并发编程有三种,多线程Thread,多进程Process,多协程Coroutine

2.1 什么是CPU密集型计算,IO密集型计算

        CPU密集型:也叫计算密集型,是指I/O在很短时间内就可以完成,CPU需要大量的计算和处理,特点是CPU占用率相当高,例如:解压缩/加密解密/正则表达式搜索

        IO密集型:系统运作过程中大部分的状况是CPU在等待I/O(硬盘/内存)的读/写操作,CPU占用率很低.例如:文件处理程序,网络爬虫程序,读写数据库程序

2.2 多线程,多进程,多协程之间的对比

一个进程包含多个线程,一个线程包含多个进程

        多进程Process(multiprocessing):

                优点:可以利用多核CPU并行运算

                缺点:占用资源最多,可启动数目比线程少

                适用于:CPU密集型计算

        多线程Thread(threading):

                优点:相比进程更轻量级,占用资源少

                缺点:

                        相比进程:多线程只能并发执行,不能利用多CPU(GIL)

                        相比协程:启动数目有限制,占用内存资源,有线程切换开销

                适用于:IO密集型计算,同时运行的任务数目要求不多

        多协程Coroutine(asyncio)

                优点:内存开销最少,启动协程数量最多

                缺点:支持的库有限(aiohttp VS requests)代码实现复杂