【做科学计算的主流库，掌握这个库科学计算也就没那么难了！】

数据分析，现在还是真是吃香，金融的也想学，会计也想学，反正不是it行的都有想学的，但是呢，自己也不懂啥。所以今天给大家分享一下，数据分析现在的主流库，也能让你更好的理解，在给大家分享前了，给各位初学者，进阶者推荐一下我的这个python群：58937142 里面入门资料新手工具，大牛指导，交流讨论应由具有，期待各位小伙伴的入群。

一：前言

继续做Nmupy模块的学习笔记，这次是numpy的数据存取与常用的一些函数学习使用记录，这些函数都将为以后的数据操作打下基础。涉及到的有存取函数、强大随机函数、统计函数和梯度函数。目的：掌握表示、清洗、统计和展示数据的基础能力

二：CSV文件的存取

1. 逗号分隔值

Comma-Separated Values，CSV，有时也称为字符分隔值，因为分隔字符也可以不是逗号，其文件以纯文本形式存储表格数据（数字和文本）。

2. 保存CSV文件

np.savetxt(frame, array, fmt=’%.18e’, delimiter=None)

frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
array : 存入文件的数组
fmt : 写入文件的格式，例如：%d %.2f %.18e
delimiter : 分割字符串，默认是任何空格

a1 = np.arange(100).reshape(5, 20)

1	a1 = np.arange(100).reshape(5, 20)

3. 读取CSV文件

np.loadtxt(frame, dtype=np.float, delimiter=None， unpack=False)

frame : 文件、字符串或产生器，可以是.gz或.bz2的压缩文件
dtype : 数据类型，可选
delimiter : 分割字符串，默认是任何空格
unpack : 如果True，读入属性将分别写入不同变量

b1 = np.loadtxt('a1.csv', delimiter=',')print(b1)b2 = np.loadtxt('a2.csv', dtype=np.int, delimiter=',')print(b2)

1	b1 = np.loadtxt('a1.csv', delimiter=',')print(b1)b2 = np.loadtxt('a2.csv', dtype=np.int, delimiter=',')print(b2)

4. CSV文件存取的局限性

CSV只能有效存储一维和二维数组

那么np.savetxt() np.loadtxt()只能有效存取一维和二维数组

三：多维数据的存取

1. 多维数据的保存

a.tofile(frame, sep=”, format=’%s’)

frame : 文件、字符串
sep : 数据分割字符串，如果是空串，写入文件为二进制
format : 写入数据的格式

如果是写入二进制则更节省硬盘空间，所以在以存储为目的即可使用这种方式；如果为了方便阅读则可以加入分割字符串以字符串的形式保存文件。

a = np.arange(100).reshape(5, 10, 2)a.tofile('b.dat', sep=',', format='%d')# 保存的数据是全部的数据，但是没有了维度信息a.tofile('c.dat', format='%d')# 没有分隔符，以二进制保存，使用文本编辑器打开是乱码的。

1	a = np.arange(100).reshape(5, 10, 2)a.tofile('b.dat', sep=',', format='%d')# 保存的数据是全部的数据，但是没有了维度信息a.tofile('c.dat', format='%d')# 没有分隔符，以二进制保存，使用文本编辑器打开是乱码的。

2. 多维数据的读取

np.fromfile(frame, dtype=float, count=‐1, sep=”)

frame : 文件、字符串
dtype : 读取的数据类型
count : 读入元素个数，‐1表示读入整个文件
sep : 数据分割字符串，如果是空串，写入文件为二进制

a1 = np.fromfile('b.dat', dtype=np.int, sep=',').reshape(5, 10, 2)print(a1)a2 = np.fromfile('c.bat', dtype=np.int).reshape(5, 10, 2)print(a2)

1	a1 = np.fromfile('b.dat', dtype=np.int, sep=',').reshape(5, 10, 2)print(a1)a2 = np.fromfile('c.bat', dtype=np.int).reshape(5, 10, 2)print(a2)

该方法需要读取时知道存入文件时数组的维度和元素类型

a.tofile()和np.fromfile()需要配合使用

可以通过元数据文件来存储额外信息

四：Nmupy的便捷文件存取

np.save(fname, array) 或 np.savez(fname, array)

fname : 文件名，以.npy为扩展名，压缩扩展名为.npz
array : 数组变量

np.load(fname)

fname : 文件名，以.npy为扩展名，压缩扩展名为.npz

a = np.arange(100).reshape(5, 10, 2)

1	a = np.arange(100).reshape(5, 10, 2)

打开a文件就可以看到，这里保存着二进制的数据和维度的信息，存储和读取都十分方便。

五：Nmupy的随机函数

1. 随机函数①：

函数	说明
rand(d0,d1,..,dn)	根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
randn(d0,d1,..,dn)	根据d0‐dn创建随机数数组，标准正态分布
randint(low[,high,shape])	根据shape创建随机整数或整数数组，范围是[low, high)
seed(s)	随机数种子，s是给定的种子值

a1 = np.random.rand(3, 4, 5)print(a1)

1	a1 = np.random.rand(3, 4, 5)print(a1)

a2 = np.random.randn(3, 4, 5)print(a2)

1	a2 = np.random.randn(3, 4, 5)print(a2)

a3 = np.random.randint(100, 200, (3, 4))print(a3)

1	a3 = np.random.randint(100, 200, (3, 4))print(a3)

2. 随机函数②：

函数	说明
shuffle(a)	根据数组a的第1轴进行随排列，改变数组x
permutation(a)	根据数组a的第1轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])	从一维数组a中以概率p抽取元素，形成size形状新数组replace表示是否可以重用元素，默认为False

a1 = np.random.randint(100, 200, (3, 4))print(a1)np.random.shuffle(a1)print(a1)

1	a1 = np.random.randint(100, 200, (3, 4))print(a1)np.random.shuffle(a1)print(a1)

shuffle() 改变了原来的数组

Paste_Image.png

b = np.random.randint(100, 200, (3, 4))print(b)np.random.permutation(b)print(b)

1	b = np.random.randint(100, 200, (3, 4))print(b)np.random.permutation(b)print(b)

permutation() 没有改变原来的数组

3. 随机函数③：

函数	说明
uniform(low,high,size)	产生具有均匀分布的数组,low起始值,high结束值,size形状
normal(loc,scale,size)	产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size)	产生具有泊松分布的数组,lam随机事件发生率,size形状

六： Numpy的统计函数

1. 统计函数①：

函数	说明
sum(a, axis=None)	根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a, axis=None)	根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None)	根据给定轴axis计算数组a相关元素的加权平均值
std(a, axis=None)	根据给定轴axis计算数组a相关元素的标准差
var(a, axis=None)	根据给定轴axis计算数组a相关元素的方差

axis=None 是统计函数的标配参数

2. 统计函数②：

函数	说明
min(a) max(a)	计算数组a中元素的最小值、最大值
argmin(a) argmax(a)	计算数组a中元素最小值、最大值的降一维后下标
unravel_index(index, shape)	根据shape将一维下标index转换成多维下标
ptp(a)	计算数组a中元素最大值与最小值的差
median(a)	计算数组a中元素的中位数（中值）