不会协程你想拿高薪？那是不存在的！微软工程师带来最全协程干货
例子1: follow.py 可以使用生成器完成 tail -f 的功能，也就是跟踪输出的功能。
例子2： 生成器用作程序管道（类似unix pipe）
pipeline.py
理解pipeline.py
在pipeline中，follow函数和grep函数相当于程序链，这样就能链式处理程序。
Yield作为表达【我们开始说协程了~】：
grep.py
yield最重要的问题在于yield的值是多少。
yield的值需要使用coroutine协程这个概念 相对于仅仅生成值，函数可以动态处理传送进去的值，而最后值通过yield返回。
协程的执行：
协程的执行和生成器的执行很相似。 当你初始化一个协程，不会返回任何东西。 协程只能响应run和send函数。 协程的执行依赖run和send函数。 如果你缺志同道合的朋友！缺学习Python的氛围！缺入门资料和视频！缺书籍的PDF！缺遇到问题没人解答？那就加这个群：103456743 你想要一起学习的朋友？资料免费提供的学习环境？好比图书馆！不收你一分钱，只为提供一个良好的交流平台！编程贵在多交流！
协程启动：
所有的协程都需要调用.next( )函数。 调用的next( )函数将要执行到第一个yield表达式的位置。 在yield表达式的位置上，很容易去执行就可以。 协程使用next()启动。
使用协程的修饰器：
由【协程启动】中我们知道，启动一个协程需要记得调用next( )来开始协程，而这个启动器容易忘记使用。 使用修饰器包一层，来让我们启动协程。 【以后所有的协程器都会先有@coroutine
使用GeneratorExit这个异常类型
抛出一个异常：
在一个协程中，可以抛出一个异常
第三部分，管道过滤器:
叫过滤器其实并不贴切，应该叫中间人Intermediate：其两端都是send()函数。
(协程的中间层) 典型的中间层如下：
协程和生成器的对比
不同处：生成器使用了迭代器拉取数据，协程使用send()压入数据。
变得多分支：（上一个协程发送数据去多个下一段协程）
图示：
使用协程，你可以发送数据 给 多个 协程过滤器/协程终了。但是请注意，协程源只是用来传递数据的，过多的在协程源中传递数据是令人困惑并且复杂的。
一个例子
从文章中分别打印出含有’python‘ ’ply‘ ’swig‘ 关键字的句子。使用了一个协程队列向所有printer协程 送出 接收到的数据。 图示：
或者这样Hook them up:
第三部分：协程，事件分发
事件处理
协程可以用在写各种各样处理事件流的组件。
介绍一个例子【这个例子会贯穿这个第三部分始终】要求做一个实时的公交车GPS位置监控。编写程序的主要目的是处理一份文件。传统上，使用SAX进行处理。【SAX处理可以减少内存空间的使用，但SAX事件驱动的特性会让它笨重和低效】。
把SAX和协程组合在一起
我们可以使用协程分发SAX事件，比如：
【最终的组合】
比如，把xml改成json最后从中筛选的出固定信息. buses.py
协程的一个有趣的事情是，您可以将初始数据源推送到低级别的语言，而不需要重写所有处理阶段。比如，PPT 中69-73页介绍的，可以通过协程和低级别的语言进行联动，从而达成非常好的优化效果。如Expat模块或者cxmlparse模块。 ps: ElementTree具有快速的递增xml句法分析
第四部分：从数据处理到并发编程
复习一下上面学的特点：
协程有以下特点。
协程和生成器非常像。
我们可以用协程，去组合各种简单的小组件。
我们可以使用创建进程管道，数据流图的方法去处理数据。
你可以使用伴有复杂数据处理代码的协程。
一个相似的主题：
我们往协程内传送数据，向线程内传送数据，也向进程内传送数据。那么，协程自然很容易和线程和分布式系统联系起来。
基础的并发：
我们可以通过添加一个额外的层，从而封装协程进入线程或者子进程。这描绘了几个基本的概念。
目标！协程+线程【没有蛀牙。
下面看一个线程的例子。 cothread.py
例子解析：第一部分：先新建一个队列。然后定义一个永久循环的线程；这个线程可以将其中的元素拉出消息队列，然后发送到目标里面。第二部分：接受上面送来的元素，并通过队列，将他们传送进线程里面。其中用到了GeneratorExit ，使得线程可以正确的关闭。
Hook up：cothread.py
但是：添加线程让这个例子慢了50%
目标！协程+子进程
我们知道，进程之间是不共享系统资源的，所以要进行两个子进程之间的通信，我们需要通过一个文件桥接两个协程。
程序通过sendto()和recvfrom()传递文件。
和环境结合的协程：
使用协程，我们可以从一个任务的执行环境中剥离出他的实现。并且，协程就是那个实现。执行环境是你选择的线程，子进程，网络等。
需要注意的警告 ：
创建大量的协同程序，线程和进程可能是创建 不可维护 应用程序的一个好方法，并且会减慢你程序的速度。需要学习哪些是良好的使用协程的习惯。
在协程里send()方法需要被适当的同步。
如果你对已经正在执行了的协程使用send()方法，那么你的程序会发生崩溃。如：多个线程发送数据进入同一个协程。
同样的不能创造循环的协程：
堆栈发送正在构建一种调用堆栈（send()函数不返回，直到目标产生）。
如果调用一个正在发送进程的协程，将会抛出一个错误。
send() 函数不会挂起任何一个协程的执行。
第五部分：任务一样的协程
Task的概念
在并发编程中，通常将问题细分为“任务”。 “任务”有下面几个经典的特点： * 拥有独立的控制流。 * 拥有内在的状态。 * 可以被安排规划/挂起/恢复。 * 可与其他的任务通信。 协程也是任务的一种。
协程是任务的一种：
下面的部分 来告诉你协程有他自己的控制流，这里 if 的控制就是控制流。
需要解决的问题（还在复习微嵌知识）
CPU执行的是应用程序，而不是你的操作系统，那 没有被CPU执行的操作系统 是怎么控制 正在运行的应用程序 中断的呢。
中断（interrupts）和陷阱（Traps）
操作系统只能通过两个机制去获得对应用程序的控制：中断和陷阱。 * 中断：和硬件有关的balabala。 * 陷阱：一个软件发出的信号。 在两种状况下，CPU都会挂起正在做的，然后执行OS的代码（这个时候，OS的代码成功插入了应用程序的执行），此时，OS来切换了程序。
中断的底层实现（略…码字员微嵌只有70分��♀️）
中断的高级表现：
* 中断（Traps）使得OS的代码可以实现。* 在程序运行遇到中断（Traps）时，OS强制在CPU上停止你的程序。* 程序挂起，然后OS运行。
表现如下图：
每次中断（Traps）程序都会执行另一个不同的任务。
任务调度（非常简单）：
为了执行很多任务，添加一簇任务队列。
启示（很重要）：
BB了这么多微嵌的内容，得到的是什么结论呢。类比任务调度，协程中yield声明可以理解为中断（Traps）。当一个生成器函数碰到了yield声明，那函数将立即挂起。而执行被传给生成器函数运行的任何代码。如果你把yield声明看成了一个中断，那么你就可以组件一个多任务执行的操作系统了。
第七部分：让我们建一个操作系统。【起飞了，请握好扶手
目标：满足以下条件建成一个操作系统。
1. 用纯python语句。2. 不用线程。3. 不用子进程。4. 使用生成器和协程器。
我们用python去构建操作系统的一些动机：
* 尤其在存在线程锁(GIL)的条件下，在线程间切换会变得非常重要。我要高并发！* 不阻塞和异步I/O。我要高并发！* 在实战中可能会遇到：服务器要同时处理上千条客户端的连接。我要高并发！* 大量的工作 致力于实现 事件驱动 或者说 响应式模型。我要组件化！* 综上，python构建操作系统，有利于了解现在高并发，组件化的趋势。
第一步：定义任务
定义一个任务类：任务像一个协程的壳，协程函数传入target；任务类仅仅有一个run()函数。 pyos1.py
在foo中，yield就像中断（Traps）一样，每次执行run()，任务就会执行到下一个yield（一个中断）。
第二步：构建调度者
下面是调度者类，两个属性分别是Task队列和task_id与Task类对应的map。schedule()向队列里面添加Task。new()用来初始化目标函数（协程函数），将目标函数包装在Task，进而装入Scheduler。最后mainloop会从队列里面拉出task然后执行到task的target函数的yield为止，执行完以后再把task放回队列。这样下一次会从下一个yield开始执行。 pyos2.py
第三步：确定任务的停止条件
如果，target函数里面不是死循环，那么上面的代码就会出错。所以我们对Scheduler做改进。添加一个从任务队列中删除的操作，和对于StopIteration的验证。 【对scheduler做改进的原因是任务的性质：可以被安排规划/挂起/恢复。】
第四步：添加系统调用基类。
在OS中，中断是应用程序请求系统服务的方式。在我们的代码中，OS是调度者（scheduler），而中断是yield。为了请求调度者服务，任务需要带值使用yield声明。 pyos4.py
代码解析： 1. 如果taskmap里面存在task，就从ready队列里面拿任务出来，如果没有就结束mainloop。 2. 【就是传说中的系统调运部分】ready队列里面的task被拿出来以后，执行task，返回一个result对象，并初始化这个result对象。如果队列里面的task要停止迭代了（终止yield这个过程）就从队列里删除这个任务。 3. 最后再通过schedule函数把执行后的task放回队列里面。 4. 系统调用基类，之后所有的系统调用都要从这个基类继承。
第4.5步：添加第一个系统调用
这个系统调用想返回任务的id。 Task的sendval属性就像一个系统调用的返回值。当task重新运行的是后，sendval将会传入这个系统调用。 pyos4.py
理解这段代码的前提： （非常重要） 1. send()函数有返回值的，返回值是yield表达式右边的值。在本段代码中，result的返回值是yield GetTid()的GetTid的实例或者是yield后面的。 2. 执行send(sendval)以后，sendval被传入了yield表达式。并赋给了mytid，返回GetTid()给ruselt。
执行顺序： 先创建一个调度者(Scheduler)，然后在调度者里面添加两个协程函数：foo()， bar()，最后触发mainloop进行协程的调度执行。
系统调用原理： 系统调用是基于系统调用类实现的，如GetTid类，其目的是传出自己的tid。传出自己的tid之后，再将task放回队列。
第五步：任务管理
上面我们搞定了一个GetTid系统调用。我们现在搞定更多的系统调用： * 创建一个新的任务。 * 杀掉一个已经存在的任务。 * 等待一个任务结束。 这些细小的相同的操作会与线程，进程配合。
1. *创建一个新的系统调用*：通过系统调用加入一个task。
网络服务器的搭建：
现在已经完成了： * 多任务。 * 开启新的进程。 * 进行新任务的管理。 这些特点都非常符合一个web服务器的各种特点。下面做一个Echo Server的尝试。
但问题是这个网络服务器是I / O阻塞的。整个python的解释器需要挂起，一直到I/O操作结束。
非阻塞的I/O
先额外介绍一个叫Select的模块。select模块可以用来监视一组socket链接的活跃状态。用法如下：
源码解析：__init__里面的是两个字典。用来存储阻塞的IO的任务。waitforread()和waitforwrite()将需要等待写入和等待读取的task放在dict里面。这里的iopoll()：使用select()去决定使用哪个文件描述器，并且能够不阻塞任意一个和I/O才做有关系的任务。poll这个东西也可以放在mainloop里面，但是这样会带来线性的开销增长。 详情请见： Python Select 解析 - 金角大王 - 博客园
添加新的系统调用：
更多请见开头那个连接里面的代码：pyos8.py
这样我们就完成了一个多任务处理的OS。这个OS可以并发执行，可以创建、销毁、等待任务。任务可以进行I/O操作。并且最后我们实现了并发服务器。
第八部分：协程栈的一些问题的研究。
我们可能在使用yield的时候会遇到一些问题：
让我们来看看这个叫蹦床的奇淫巧技。
代码：trampoline.py
整个控制流如下：
我们看到，上图中左侧为统一的scheduler，如果我们想调用一个子线程，我们都用通过上面的scheduler进行调度。
千万不要一个函数里面包含两个或多个以上的功能，比如函数是generator就是generator，是一个coroutine就是一个coroutin。
谢谢阅读！
如有侵权请联系小编删除哦！
