数据操作基础库 numpy 一

本贴最后更新于 1717 天前,其中的信息可能已经物是人非
## 基本操作

numpy:数据分析和机器学习的底层库,完全由C语言实现,用于高效的操作数据。而且是开源的,经过了很多大牛的完善。

numpy.ndarray(numpy数组):由实际数据和元数据组成,实际数据必须是数据类型相同的数据集,元数据则是存储数据的维度和长度。
例如:a = [[2 3] [4 5] [6 7]] 的实际数据是2 3 4 5 6 7,元数据(a.shape)是(3,2),不加逗号是为了区分python列表与numpy数组。

**0、创建数组**
numpy.arange(起始,终止,步长)  生成一维数组
numpy.array(一般为列表或数组,dtype=对数据类型的描述) 根据列表或数组生成新数组,dtype可以省略

**1、numpy内部基本数据类型**
布尔型:bool_     
有符号整数:int8(-128~127)/int16/int32/int64
无符号整数:unint8(0-255)/uint16/uint32/uint64
浮点型:float16/float32/float64
复数型:complex64/complex128
字符串:str_ , 每个字符用32位(四个字节)Unicode编码表示

**2、自定义复合类型**
1)类型字符码
? --- bool_  
b --- int8   
B --- uint8   
i1/i2/i4/i8 --- 有符号整型   
u1/2/4/8 -- 无符号整型   
f2/4/8 --- 浮点   
c8/16 --- 复数   
U<字符数> --- 字符串   
M8 --- 日期时间   
O --- Python对象
2)类型字符串
<字节序><维度><类型字符码><字节数>
字节序:> 大端字节序  < 小端字节序 = 根据硬件自动选择
比如:a = numpy.array(['abcdef'], dtype='6U1')
      # [['a' 'b' 'c' 'd' 'e' 'f']]
更多示例见:[dtype.py](https://gitee.com/kanadeblisst/CSDN/blob/master/dtype.py)
疑问:能不能将['abcdef']解读成这个数组['ab' 'cd' 'ef']

**3、切片**
数组[起始:终止:步长,起始:终止:步长,...]
除了有多维切片外,基本和Python切片一样
补充: a[0][1][2] 同a[0,1,2]
示例:[slice.py](https://gitee.com/kanadeblisst/CSDN/blob/master/slice.py)

**4、变维**
1)视图变维
reshape()(重新设置维度)、ravel()(展平,将数组变为一维的)、
transpose((2,1,0))(转置)原数组为(0,1,2),也就是把0,2轴数据对调
视图:返回一个具有新维度的新数组对象,数据还是原数组的数据,当原数组数据变化时,新数组数据也会变化
2)复制变维
flatten(展平,复制数据形成新数组)     
3)就地变维
在原数组之上,改变维度
a.shape = 新维度
a.resize(...)
示例:[reshape.py](https://gitee.com/kanadeblisst/CSDN/blob/master/reshape.py)

**5、np.ndarray的属性**
dtype 元素类型    
shape 数组维度
T 转置视图   
size 元素个数
ndim 数组维数   
itemsize 每个元素字节数
nbytes 数组总字节数 
real 实部数组 
imag 虚部数组 如果是整数或浮点数数组,则全为0,字符串数组则全为''
flat 扁平迭代器(展平后的迭代器)
tolist()  数组转列表
a1 = np.append(a, i)  向a中添加i并返回结果给a1


## 一、创建数组

**1.arange**
```
a = numpy.arange(0, 16)
# 生成0-16的数组
b = numpy.arange(0, 16).reshape(4, 4)
# 生成一个4x4的数组,数据为a的数据
a.shape = (2, 2, 2, 2)
# 修改a的维度为(2,2,2,2)
a.shape = (2,-1,2,2)
# -1表示自动计算该维度
a.resize = (4, 4)
# 修改a的维度为(4,4)
```
**2、array和asarray**
```
a = numpy.array([1,2,3,4])
b = numpy.array([1,2,3,4], dtype=numpy.float32)
c = numpy.array([[1, 2], [3, 4]])
d = numpy.array(numpy.arange(1,11))
e = numpy.array([numpy.arange(1,5), numpy.arange(11, 15)])
```
asarray用法同array,不过asarray接受的参数是numpy数组时,并不会拷贝一份,array则会拷贝,所以看实际需求吧。

**3、linspace和logspace**
1)numpy.linspace(start, stop, num=50, endpoint=True, retstep=False, dtype=None)
功能:生成一个num个数的等差数列(数组),起始值为start,终止值为stop
endpoint:是否包含stop
retstep:为True时生成(ndarray, 间距)的元组,间距也就是数学上的公差
2)numpy.logspace(start, stop, num=50, endpoint=True, base=10.0, dtype=None)
功能:生成一个num个数的等比数列(数组)。起始值为base ** start,终止值为base ** stop。
示例:[llspace.py](https://gitee.com/kanadeblisst/CSDN/blob/master/llspace.py)

**4、empty、ones和zeros**
numpy.empty(shape, dtype = float, order = 'C')
功能: 生成一个维度为shape的空数组,不过因为是C语言写的,未被赋值的变量会是垃圾值。
numpy.zeros(shape, dtype = float, order = 'C')
功能: 生成一个维度为shape,值全为0的数组。
numpy.ones(shape, dtype = None, order = 'C')
功能: 生成一个维度为shape,值全为1的数组

**拓展:高级索引**
1)a[一维行索引列表或数组, 一维列索引列表或数组]
例如:

```
a = np.array([[1,  2],  [3,  4],  [5,  6]]) 
b = a[[0, 1, 2],  [0, 1, 0]] 
# 相对于b是由a[0, 0]、a[1, 1]、a[2, 0]组成的新数组,即[1 4 5]
```

2)a[多维行索引列表或数组, 多维列索引列表或数组]
例如:
```
a = np.array([[  0,  1,  2],[  3,  4,  5],[  6,  7,  8],[  9,  10,  11]]) 
b = a[np.array([0, 0, 3 3]), np.array([0, 2, 0, 2])]
会得到[0 2 9 11]
b = a[np.array([[0, 0], [3 3]]), np.array([[0, 2], [0, 2]])]
```

则会得到[[0 2] [9 11]],数据并没有变,只是结果的维度变化了。
3)布尔索引

```
b = [False, True, True]
a = numpy.array([1, 2, 3])
c = a[b]
```
你猜结果是啥

4)花式索引
a为一维数组,索引也为一维数组
```
a = numpy.arange(15)
b = a[range(5)]  # [0 1 2 3 4]
c = a[[-1,-2,-3,-4]]  # [14 13 12 11]
```
那么当a为二维数组,而索引只给一个一维数组,会得到什么?
```
a = numpy.arange(15).reshape(5, 3)
b = a[[-3,-1,-2]]
```

再高级一点,请看:
```
a = numpy.arange(15).reshape(5, 3)
b = a[numpy.ix_([1,3,3],[2,0,1])]
c = a[[1,3,3]][:,[2,0,1]]
```

这个索引的意思是先取a[[1,3,3]]得到a的第一行和两个第三行的数组,然后分别对每一行取[2,0,1]这个索引。
numpy.ix_函数将[1,3,3],[2,0,1]打包成一个这样([[1] [3] [3]], [[2 0 1]])的元组。也就是它的作用只是让你代码显得容易理解,否则写一个a[([[1] [3] [3]], [[2 0 1]])]谁知道结果是什么。当然你非要这样写也行,和写numpy.ix_一样。写成c的形式也比较容易理解。

个人理解: 如果可以不用花式索引,最好别用。因为花式索引并不是像切片和索引一样的视图,而是复制了一份新的数据。

## 二、数组操作

**1、基本操作(数组维度完全相同)**
```
a = numpy.arange(1, 11)
b = numpy.arange(11,21)
c = a + b
d = b - a
e = a * b # 和矩阵的操作不同,数组间的乘法只是对应元素相乘。
f = b / a
g = b // a
h = a > 5
j = a[a>5]   # 布尔索引的应用
k = a @ b  # 矩阵乘法,同A.dot(B)
```

**2、numpy广播(数组维度不同,但有限制)**
专业解释:广播的原则,如果两个数组的后缘维度(trailing dimension,即从末尾开始算起的维度)的轴长度相符,或其中的一方的长度为1,则认为它们是广播兼容的。广播会在缺失和(或)长度为1的维度上进行。

大概意思是:维度为(4,3,2)的数组是可以和维度为(3,2)的数组进行操作的,当然和(3,1)和(1,2)也是可以的。

```
a = numpy.arange(1, 25).reshape(4,3,2)
b = numpy.arange(1, 7).reshape(3,2)
print('a: ', a)
print('b: ', b)
print(a + b)
```




#

##

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    108 引用 • 54 回帖
  • InfluxDB

    InfluxDB 是一个开源的没有外部依赖的时间序列数据库。适用于记录度量,事件及实时分析。

    2 引用 • 55 关注
  • Ant-Design

    Ant Design 是服务于企业级产品的设计体系,基于确定和自然的设计价值观上的模块化解决方案,让设计者和开发者专注于更好的用户体验。

    17 引用 • 23 回帖 • 1 关注
  • PWL

    组织简介

    用爱发电 (Programming With Love) 是一个以开源精神为核心的民间开源爱好者技术组织,“用爱发电”象征开源与贡献精神,加入组织,代表你将遵守组织的“个人开源爱好者”的各项条款。申请加入:用爱发电组织邀请帖
    用爱发电组织官网:https://programmingwithlove.stackoverflow.wiki/

    用爱发电组织的核心驱动力:

    • 遵守开源守则,体现开源&贡献精神:以分享为目的,拒绝非法牟利。
    • 自我保护:使用适当的 License 保护自己的原创作品。
    • 尊重他人:不以各种理由、各种漏洞进行未经允许的抄袭、散播、洩露;以礼相待,尊重所有对社区做出贡献的开发者;通过他人的分享习得知识,要留下足迹,表示感谢。
    • 热爱编程、热爱学习:加入组织,热爱编程是首当其要的。我们欢迎热爱讨论、分享、提问的朋友,也同样欢迎默默成就的朋友。
    • 倾听:正确并恳切对待、处理问题与建议,及时修复开源项目的 Bug ,及时与反馈者沟通。不抬杠、不无视、不辱骂。
    • 平视:不诋毁、轻视、嘲讽其他开发者,主动提出建议、施以帮助,以和谐为本。只要他人肯努力,你也可能会被昔日小看的人所超越,所以请保持谦虚。
    • 乐观且活跃:你的努力决定了你的高度。不要放弃,多年后回头俯瞰,才会发现自己已经成就往日所仰望的水平。积极地将项目开源,帮助他人学习、改进,自己也会获得相应的提升、成就与成就感。
    1 引用 • 487 回帖 • 7 关注
  • 心情

    心是产生任何想法的源泉,心本体会陷入到对自己本体不能理解的状态中,因为心能产生任何想法,不能分出对错,不能分出自己。

    59 引用 • 369 回帖
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 71 关注
  • 微服务

    微服务架构是一种架构模式,它提倡将单一应用划分成一组小的服务。服务之间互相协调,互相配合,为用户提供最终价值。每个服务运行在独立的进程中。服务于服务之间才用轻量级的通信机制互相沟通。每个服务都围绕着具体业务构建,能够被独立的部署。

    96 引用 • 155 回帖
  • V2EX

    V2EX 是创意工作者们的社区。这里目前汇聚了超过 400,000 名主要来自互联网行业、游戏行业和媒体行业的创意工作者。V2EX 希望能够成为创意工作者们的生活和事业的一部分。

    17 引用 • 236 回帖 • 417 关注
  • 锤子科技

    锤子科技(Smartisan)成立于 2012 年 5 月,是一家制造移动互联网终端设备的公司,公司的使命是用完美主义的工匠精神,打造用户体验一流的数码消费类产品(智能手机为主),改善人们的生活质量。

    4 引用 • 31 回帖 • 11 关注
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    89 引用 • 113 回帖
  • IBM

    IBM(国际商业机器公司)或万国商业机器公司,简称 IBM(International Business Machines Corporation),总公司在纽约州阿蒙克市。1911 年托马斯·沃森创立于美国,是全球最大的信息技术和业务解决方案公司,拥有全球雇员 30 多万人,业务遍及 160 多个国家和地区。

    16 引用 • 53 回帖 • 124 关注
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣,为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 40 关注
  • CSS

    CSS(Cascading Style Sheet)“层叠样式表”是用于控制网页样式并允许将样式信息与网页内容分离的一种标记性语言。

    180 引用 • 447 回帖 • 1 关注
  • Hadoop

    Hadoop 是由 Apache 基金会所开发的一个分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。

    82 引用 • 122 回帖 • 619 关注
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发,并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例: https://wide.b3log.org

    30 引用 • 218 回帖 • 606 关注
  • Caddy

    Caddy 是一款默认自动启用 HTTPS 的 HTTP/2 Web 服务器。

    10 引用 • 54 回帖 • 126 关注
  • Markdown

    Markdown 是一种轻量级标记语言,用户可使用纯文本编辑器来排版文档,最终通过 Markdown 引擎将文档转换为所需格式(比如 HTML、PDF 等)。

    163 引用 • 1450 回帖
  • 电影

    这是一个不能说的秘密。

    120 引用 • 597 回帖
  • OAuth

    OAuth 协议为用户资源的授权提供了一个安全的、开放而又简易的标准。与以往的授权方式不同之处是 oAuth 的授权不会使第三方触及到用户的帐号信息(如用户名与密码),即第三方无需使用用户的用户名与密码就可以申请获得该用户资源的授权,因此 oAuth 是安全的。oAuth 是 Open Authorization 的简写。

    36 引用 • 103 回帖 • 10 关注
  • 倾城之链
    23 引用 • 66 回帖 • 100 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    21 引用 • 140 回帖 • 27 关注
  • Dubbo

    Dubbo 是一个分布式服务框架,致力于提供高性能和透明化的 RPC 远程服务调用方案,是 [阿里巴巴] SOA 服务化治理方案的核心框架,每天为 2,000+ 个服务提供 3,000,000,000+ 次访问量支持,并被广泛应用于阿里巴巴集团的各成员站点。

    60 引用 • 82 回帖 • 609 关注
  • Solidity

    Solidity 是一种智能合约高级语言,运行在 [以太坊] 虚拟机(EVM)之上。它的语法接近于 JavaScript,是一种面向对象的语言。

    3 引用 • 18 回帖 • 350 关注
  • ActiveMQ

    ActiveMQ 是 Apache 旗下的一款开源消息总线系统,它完整实现了 JMS 规范,是一个企业级的消息中间件。

    19 引用 • 13 回帖 • 626 关注
  • Elasticsearch

    Elasticsearch 是一个基于 Lucene 的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于 RESTful 接口。Elasticsearch 是用 Java 开发的,并作为 Apache 许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便。

    116 引用 • 99 回帖 • 267 关注
  • 支付宝

    支付宝是全球领先的独立第三方支付平台,致力于为广大用户提供安全快速的电子支付/网上支付/安全支付/手机支付体验,及转账收款/水电煤缴费/信用卡还款/AA 收款等生活服务应用。

    29 引用 • 347 回帖 • 1 关注