博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Python -- 多进程
阅读量:6232 次
发布时间:2019-06-21

本文共 1006 字,大约阅读时间需要 3 分钟。

进程通信

方式一、共享内存(进程安全,效率高)

共享变量:multiprocessing.Value

共享数组:multiprocessing.Array
 

方式二、Manager对象:

Mananger 包括:list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value, Array

Manager对象,相对于共享内存,更加灵活,支持Python对象,可以通过网络进行共享,但是效率低
 

进程同步

Manager对象:Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event

1、简单同步机制锁 Lock、RLock(A/B 进程同时修改一个对象,RLock支持嵌套)
2、可控制进程数量 Semaphore, BoundedSemaphore (例如连接池限制)
3、复杂同步条件变量 Condition (A/B进程可以多条件判断,交替执行)
4、事件控制 Event(A、C进程等待B进程执行某种操作之后才能执行)
 

进程池

multiprocessing.Poolres = pool.apply_async (非阻塞)res = pool.apply (阻塞)res.get(timeout=2) 获取执行return的结果

 

subprocess(经常用来执行Linux命令,非常方便)

cmds = [‘ls’, ‘-l’]subprocess.call(cmds, stdout=fd, stderr=fd)返回执行后状态码subprocess.check_call(cmds, stdout=fd, stderr=fd)执行成功返回0,失败抛出异常subprocess.call_output(cmds, stderr=fd)执行成功返回标准输出,失败抛出异常都是阻塞执行命令,标准与错误输出到文件句柄或者PIPE

 

多进程注意点:

1、不能使用Lock嵌套,会导致死锁,应该使用RLock嵌套

2、多线程/进程,随时可能发生切换,操作相同变量要加锁
3、多进程普通类型共享,可以使用共享内存Value,Array,效率高

转载于:https://blog.51cto.com/13126942/2045356

你可能感兴趣的文章
非监督学习算法:异常检测
查看>>
jquery的checkbox,radio,select等方法总结
查看>>
Linux coredump
查看>>
Ubuntu 10.04安装水晶(Mercury)无线网卡驱动
查看>>
我的友情链接
查看>>
nginx在reload时候报错invalid PID number
查看>>
ElasticSearch 2 (32) - 信息聚合系列之范围限定
查看>>
VS2010远程调试C#程序
查看>>
[MicroPython]TurniBit开发板DIY自动窗帘模拟系统
查看>>
Python3.4 12306 2015年3月验证码识别
查看>>
从Handler.post(Runnable r)再一次梳理Android的消息机制(以及handler的内存泄露)
查看>>
windows查看端口占用
查看>>
Yii用ajax实现无刷新检索更新CListView数据
查看>>
JDBC的事务
查看>>
Io流的概述
查看>>
App 卸载记录
查看>>
JavaScript变量和作用域
查看>>
开源SIP服务器加密软件NethidPro升级
查看>>
作业:实现简单的shell sed替换功能和修改haproxy配置文件
查看>>
Altium 拼板方法以及 注意的 地方
查看>>