当然了,现在我们大部分程序都是(IO)网络密集型程序,Python足以胜任,但是如果说我们已经存在的项目或者想要开发的项目中,存在有计算密集型的程序场景,我们该怎么办呢?
可能有的小伙伴听说过Python + C\C++,用C\C++重写Python计算密集的地方,来提高性能。
当然, 这是一种很好的解决办法,但是我们知道C\C++是有一些学习成本,有没有再更好的解决方案呢?
/2 尝试在Python中调用Golang代码/
后来有幸接触到了Golang,使用了一端时间小编就在想,Python要是能调用Go代码就好了,实在是不想学习C\C++,毕竟C\C++的指针和自己释放内存还是比较有门槛的,Go就很方便了,垃圾自动回收,省的内存泄漏还有天生高并发等优势。
经过不断的查阅了一些资料,踩了一些坑,功夫不负有心人,终于找到了合适的办法,在此分享给大家。
目前最广泛的Python解释器是CPython,Python正好留出来有可以调用C\C++代码的模块,Go经过一些方法,也是可以编译成类似Python可调用的C\C++的文件。
/3 测试环境/
系统:windows
Python解释器:Python 3.7.6(64位)
Go编译器:Go 1.14(64位)
/4 性能对比/
为了更好的体现出来优化之后的效果,我们大概对比一下两个语言在计算密集情况下的差距。
测试:分别计算一个亿(100000000)的累加模拟大量计算。
1)Python代码
import time def run(n): sum = 0 for i in range(n): sum += i print(sum) if __name__ == '__main__': startTime = time.time() run(100000000) endTime = time.time() print("耗时:", endTime - startTime)
可以看到耗时:10s左右,如下图所示。
2)Go代码
package main import ( "fmt" "time" ) func run(n int) { sum := 0 for i := 0; i < n; i++ { sum += i } fmt.Println(sum) } func main() { var startTime = time.Now() run(100000000) fmt.Println("耗时:", time.Since(startTime)) }
可以看到耗时:200ms左右,如下图所示。
3)测试结论
我们可以看到,在计算方面,Python和Go是有很大的差距的,如果计算这一块能放在Go上就好了。
别着急,马上开始。
/5 Go代码编译为Python可调用的.so文件/
1)Go代码
功能:接收传入的值进行累加,并且返回最终的累加值。
package main import ( "C" //C必须导入 ) //export run func run(n int) int{ /* 必须要export 函数名 //是注释的意思,相当于Python中的 # 我也是第一次见注释还有作用,黑人三问好??? 固定写法 */ sum := 0 for i := 0; i < n; i++ { sum += i } fmt.Println("我是Go代码,我跑完了,我的结果是:",sum) return sum } func main() { //main函数中什么都不要写,和包名main要对应 }
命令如下:
go build -buildmode=c-shared -o 输出的.so文件 go源文件
例如:
go build -buildmode=c-shared -o s1.so s1.go
会生成.h文件和.so文件,.so文件供Python调用,如下图所示:
3)Ptyhon调用so文件将上述生成的.so文件复制到Python项目的同一级目录。
依然是计算一个亿,关键部分由Go生成的.so执行。
from ctypes import * import time if __name__ == '__main__': startTime = time.time() s = CDLL("s1.so") # 加载s1.so文件 result = s.run(100000000) # 调用Go生成的.so文件里面的run函数 print("result:", result) endTime = time.time() print("耗时:", endTime - startTime)
可以看到耗时:0.11s左右,如下图所示。
5)为什么计算的耗时时间不一致,难道是计算错了???
我们可以看到,虽然速度很快,但是Python在调用Go生成的.so文件之后,拿到的返回值竟然是错的,但是在Go中打印的确实对的,这是为什么呢???
不要慌,问题不大!我们来计算一次稍微小一点的,上个100w的。
额,怎么还是错误。
6)我们再来计算更小一些的数,以10023为例,一个不零不整的数值。
这次可以看到,结果是对的。但是100w+结果为什么会是错的呢???
我们在上述可以知道,.so文件计算的结果却是正确的,可能是在python接收的时候转换的时候错了,不过别捉急,本章已经有点长了,在下章一定会把这个坑解决的,敬请期待~
/6 小结/
【转自:阜宁网站设计 http://www.1234xp.com/funing.html 欢迎留下您的宝贵建议】