一行代码让你的蟒蛇运行速度提高100倍!Python的真强!
Python的用的好,猪也能飞起来。
今天,带大家学习如何让Python的飞起来的方法,干货满满哦!
蟒蛇一直被病垢运行速度太慢,但是实际上蟒蛇的执行效率并不慢,慢的是蟒蛇用的解释器CPython的运行效率太差。
“一行代码让蟒的运行速度提高100倍”这绝不是哗众取宠的论调。
我们来看一下这个最简单的例子,从1一直累加到1亿。
最原始的代码:
私信小编01 02 03 04即可获取数十套PDF哦!
1 2 3 4 5 6 7 8 9 |
导入时间 def foo(x,y): tt = time.time() s = 0 表示i在范围(x,y)中: s + = i print('使用时间:{} sec'.format(time.time ()-tt)) 返回s print(foo(1,100000000)) |
结果:
1 2 |
使用时间:6.779874801635742秒 4999999950000000 |
我们来加一行代码,再看看结果:
1 2 3 4 5 6 7 8 9 10 11 |
来自numba import jit import time @jit def foo(x,y): tt = time.time() s = 0 for i in range(x,y): s + = i print('Time used:{} sec' .format(time.time() - tt)) 返回s print(foo(1,100000000)) |
结果:
1 2 |
使用时间:0.04680037498474121秒 4999999950000000 |
是不是快了100多倍呢?
那么下面就分享一下“为啥numba库的JIT模块那么牛掰?”
NumPy的创始人Travis Oliphant在离开Enthought之后,创建了CONTINUUM,致力于将Python大数据处理方面的应用。最近推出的Numba项目能够将处理NumPy数组的Python函数JIT编译为机器码执行,从而上百倍的提高程序的运算速度。
Numba项目的主页上有Linux的下的详细安装步骤。编译LLVM需要花一些时间。
Windows用户可以从用于Python扩展包的非官方Windows二进制文件下载安装LLVMPy,meta和numba等几个扩展库。
下面我们看一个例子:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
从numba import jit 导入numba为nb @jit('f8(f8 [:])') def sum1d(array): s = 0.0 n = array.shape [0] for i in range(n): s + = array [i] 返回s import numpy as np array = np.random.random(10000) %timeit sum1d(array) %timeit np.sum(array) %timeit sum(array) 10000循环,最佳3:38.9 us每循环 10000循环,最佳3:32.3 us每循环 100循环,最佳3:12.4 ms每循环 |
numba中提供了一些修饰器,它们可以将其修饰的函数JIT编译成机器码函数,并返回一个可在Python的中调用机器码的包装对象。为了能将Python的函数编译成能高速执行的机器码,我们需要告诉JIT编译器函数的各个参数和返回值的类型我们可以通过多种方式指定类型信息,在上面的例子中,类型信息由一个字符串’F8(F8 [:])’。指定其中’F8’表示8个字节双精度浮点数,括号前面的’F8’表示返回值类型,括号里的表示参数类型, ‘[:]’。表示一维数组因此整个类型字符串表示sum1d()是一个参数为双精度浮点数的一维数组,返回值是一个双精度浮点数。
需要注意的是,JIT所产生的函数只能对指定的类型的参数进行运算:
1 2 3 4 5 6 |
print sum1d(np.ones(10,dtype = np.int32)) print sum1d(np.ones(10,dtype = np.float32)) print sum1d(np.ones(10,dtype = np.float64)) 1.2095376009e -312 1.46201599944e + 185 10.0 |
如果希望JIT能针对所有类型的参数进行运算,可以使用autojit:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 |
来自numba import autojit @autojit def sum1d2(array): s = 0.0 n = array.shape [0] for i in range(n): s + = array [i] return s %timeit sum1d2(array) print sum1d2(np .ones(10,dtype = np.int32)) print sum1d2(np.ones(10,dtype = np.float32)) print sum1d2(np.ones(10,dtype = np.float64)) 10000循环,最好的3 :每循环143 us 10.0 10.0 10.0 |
的AutoIt虽然可以根据参数类型动态地产生机器码函数,但是由于它需要每次检查参数类型,因此计算速度也有所降低.numba的用法很简单,基本上就是用JIT和autojit这两个修饰器,和一些类型对象下面的程序列出numba所支持的所有类型:
1 2 3 4 5 6 7 |
print [obj for obj in nb .__ dict __。values()if isinstance(obj,nb.minivect.minitypes.Type)] [size_t,Py_uintptr_t,uint16,complex128,float,complex256,void,int,long double, unsigned PY_LONG_LONG, uint32,complex256,complex64,object_,npy_intp,const char *, double,unsigned short,float,object_,float,uint64,uint32,uint8,complex128,uint16, int,int,uint8,complex64,int8,uint64,double,long double,int32,double,long double, char,long,unsigned char,PY_LONG_LONG,int64,int16,unsigned long,int8,int16,int32, unsigned int,short,int64,Py_ssize_t] |
工作原理
numba的通过荟萃模块解析的Python函数的AST语法树,对各个变量添加相应的类型信息,然后调用llvmpy生成机器码,最后再生成机器码的Python的调用接口。
元模块
通过研究numba的工作原理,我们可以找到许多有用的工具例如元模块可在程序源码,AST语法树以及Python的二进制码之间进行相互转换下面看一个例子。:
1 2 |
def add2(a,b): 返回a + b |
decompile_func能将函数的代码对象反编译成AST语法树,而str_ast能直观地显示AST语法树,使用这两个工具学习的Python的AST语法树是很有帮助的。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 |
来自meta.decompiler从meta.asttools导入decompile_func 导入str_ast print str_ast(decompile_func(add2)) FunctionDef(args = arguments(args = [Name(ctx = Param(), id ='a'), Name(ctx = Param( ), id ='b')], defaults = [], kwarg = None, vararg = None), body = [Return(value = BinOp(left = Name(ctx = Load(), id ='a'), op = Add(), right = Name(ctx = Load(), id ='b')))], decorator_list = [], name ='add2') |
而python_source可以将AST语法树转换为Python的源代码:
1 2 3 4 |
来自meta.asttools导入python_source python_source(decompile_func(add2)) def add2(a,b): return(a + b) |
decompile_pyc将上述二者结合起来,它能将Python的编译之后的PYC或者杓文件反编译成源代码。下面我们先写一个tmp.py文件,然后通过py_compile将其编译成tmp.pyc。
1 2 3 4 5 6 7 8 9 10 |
with open(“tmp.py”,“w”)as f: f.write(“”“ def square_sum(n): s = 0 for i in range(n): s + = i ** 2 return s ” “”) import py_compile py_compile.compile(“tmp.py”) |
下面调用decompile_pyc将tmp.pyc显示为源代码:
1 2 3 4 5 6 7 |
with open(“tmp.pyc”,“rb”)as f: decompile_pyc(f) def square_sum(n): s = 0 for i in range(n): s + =(i ** 2) return s |
llvmpy模块
LLVM是一个动态编译器,llvmpy则可以通过Python的调用LLVM动态地创建机器码。直接通过llvmpy创建机器码是比较繁琐的,例如下面的程序创建一个计算两个整数之和的函数,并调用它计算结果。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 |
从进口llvm.core模块,类型,生成器 从进口llvm.ee ExecutionEngine,在minilang #创建实现该功能的新的模块: # #INT加载(INT A,INT B){ #返回A + B; #} # my_module = Module.new( 'my_module') ty_int = Type.int() ty_func = Type.function(ty_int,[ty_int,ty_int]) f_add = my_module.add_function(ty_func, “添加”) f_add.args [ 0] .name =“a” f_add.args [1] .name =“b” bb = f_add.append_basic_block(“entry”) #IRBuilder for basic block builder = Builder.new(bb) tmp = builder.add( f_add.args [0],f_add.args [1],“tmp”) builder.ret(tmp) #创建执行引擎对象。这将 在支持它的平台上创建JIT编译器#,或者在解释器上创建 ee = ExecutionEngine.new(my_module) #每个参数都需要作为GenericValue对象传递,这是一种 变体 arg1 = GenericValue.int( ty_int,100) arg2 = GenericValue.int(ty_int,42) #现在让我们编译并运行! retval = ee.run_function(f_add,[arg1,arg2]) #返回值也是GenericValue。我们打印吧。 print“return”,retval.as_int() 返回142 |
f_add就是一个动态生成的机器码函数,我们可以把它想象成Ç语言编译之后的函数。在上面的程序中,我们通过ee.run_function调用此函数,而实际上我们还可以获得它的地址,然后通过Python中的ctypes的模块调用它。
首先通过ee.get_pointer_to_function获得f_add函数的地址:
1 2 3 |
addr = ee.get_pointer_to_function(f_add) addr 2975997968L |
然后通过ctypes.PYFUNCTYPE创建一个函数类型:
1 2 |
import ctypes f_type = ctypes.PYFUNCTYPE(ctypes.c_int,ctypes.c_int,ctypes.c_int) |
最后通过F_TYPE将函数的地址转换为可调用的Python的函数,并调用它:
1 2 3 |
f = f_type(addr) f(100,42 ) 142 |
numba所完成的工作就是:
解析的Python函数的AST语法树并加以改造,添加类型信息;
将带类型信息的AST语法树通过llvmpy动态地转换为机器码函数,然后再通过和ctypes的类似的技术为机器码函数创建包装函数供Python的调用。
一行代码让你的python运行速度提高100倍!Python真强!http://t.jinritoutiao.js.cn/datJDR/