postgresql 数据库单表查询时,不同数据量以及查询 sql 分析

本贴最后更新于 1801 天前,其中的信息可能已经时过境迁

最近项目遇到了一个单表查询慢的情况,需要优化。原因是 group by 和 limit 一起用的时候索引不生效,我的解决方法是用子查询,这样索引生效了,查询速度也变快了。
于是我又做了一些其他的测试,这里记录一下我测试分析的过程。ps:懒得造数据了,表名我打马赛克了
1.因为查询条件需要 create_user_id(有 btree 索引),所以先对表的 create_user_id 进行分组统计条数

select create_user_id,count(*) as user_count from mytable group by create_user_id 
ORDER BY user_count desc

image.png
取 50500,52200,51800 的数据查询
2.直接查询
image.png

image.png

image.png
原始查询都没有用到索引,意料之之中

3.子查询
image.png

image.png

image.png
关于这个问题我就是用子查询解决的,但是这里却没有用到索引???于是我对比了我解决问题的 sql 和这个 sql 的不同,发现我这里是用了 select * ,于是
image.png
这里还是没有用到索引?郁闷了一会,在对比一下。发现原来的是 select id || '' 而不是 select id, 于是
image.png
这里果然是用到了索引,但是我不明白为什么“select id || '' ”会用索引,但是“select id”不用索引,网上资料说是 pg 在查询时有自己一套策略,会根据当前 sql 情况决定执行方式。但是我不懂这里明明用了索引更快了才对,而且我拼接空字符串应该也要额外消耗吧。可是结果反而是更快了,😳 。
继续测试,还是这个 sql,id 换成 50500
image.png
可以看到不使用索引了,结合我今天查到的资料,应该是 pg 认为这次的查询返回的结果集较多(配合第一张图看),因此不使用索引。
id 用 51800 替换再试试
image.png
有使用索引,和预期的一样

4.用 with 语句
image.png

image.png

image.png
这里的预期结果和子查询差不多,不同在于 with 比子查询在查询同样条件下会快一些。还有就是 with 的查询不能用“select id || '',会报错。

最后我的结论是:

1.pg 的 group by 和 limit 共用的时候确实会导致索引不生效,可以用子查询或者 with 语句解决
2.pg 的 sql 执行策略决定是否使用索引的因素有很多,比如返回结果集占该表百分比的大小(试过在其他数据库数测试测试返回结果集也是 20 多万但是占总表百分比没这么大,也用了索引),select 部分内容的写法(这里我并不理解为什么)以及其他。

  • PostgreSQL

    PostgreSQL 是一款功能强大的企业级数据库系统,在 BSD 开源许可证下发布。

    22 引用 • 22 回帖

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
DavinciDevil
因为你不重要,所以你说的话也不重要 厦门

推荐标签 标签

  • 互联网

    互联网(Internet),又称网际网络,或音译因特网、英特网。互联网始于 1969 年美国的阿帕网,是网络与网络之间所串连成的庞大网络,这些网络以一组通用的协议相连,形成逻辑上的单一巨大国际网络。

    96 引用 • 330 回帖
  • Log4j

    Log4j 是 Apache 开源的一款使用广泛的 Java 日志组件。

    20 引用 • 18 回帖 • 42 关注
  • H2

    H2 是一个开源的嵌入式数据库引擎,采用 Java 语言编写,不受平台的限制,同时 H2 提供了一个十分方便的 web 控制台用于操作和管理数据库内容。H2 还提供兼容模式,可以兼容一些主流的数据库,因此采用 H2 作为开发期的数据库非常方便。

    11 引用 • 54 回帖 • 643 关注
  • 区块链

    区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。所谓共识机制是区块链系统中实现不同节点之间建立信任、获取权益的数学算法 。

    91 引用 • 751 回帖
  • PWA

    PWA(Progressive Web App)是 Google 在 2015 年提出、2016 年 6 月开始推广的项目。它结合了一系列现代 Web 技术,在网页应用中实现和原生应用相近的用户体验。

    14 引用 • 69 回帖 • 133 关注
  • V2Ray
    1 引用 • 15 回帖 • 2 关注
  • Angular

    AngularAngularJS 的新版本。

    26 引用 • 66 回帖 • 512 关注
  • 链滴

    链滴是一个记录生活的地方。

    记录生活,连接点滴

    131 引用 • 3639 回帖 • 1 关注
  • Maven

    Maven 是基于项目对象模型(POM)、通过一小段描述信息来管理项目的构建、报告和文档的软件项目管理工具。

    185 引用 • 318 回帖 • 345 关注
  • 安全

    安全永远都不是一个小问题。

    189 引用 • 813 回帖
  • WebSocket

    WebSocket 是 HTML5 中定义的一种新协议,它实现了浏览器与服务器之间的全双工通信(full-duplex)。

    48 引用 • 206 回帖 • 399 关注
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖
  • 阿里云

    阿里云是阿里巴巴集团旗下公司,是全球领先的云计算及人工智能科技公司。提供云服务器、云数据库、云安全等云计算服务,以及大数据、人工智能服务、精准定制基于场景的行业解决方案。

    89 引用 • 345 回帖
  • Eclipse

    Eclipse 是一个开放源代码的、基于 Java 的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。

    75 引用 • 258 回帖 • 627 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 221 关注
  • 前端

    前端技术一般分为前端设计和前端开发,前端设计可以理解为网站的视觉设计,前端开发则是网站的前台代码实现,包括 HTML、CSS 以及 JavaScript 等。

    247 引用 • 1347 回帖
  • SEO

    发布对别人有帮助的原创内容是最好的 SEO 方式。

    35 引用 • 200 回帖 • 24 关注
  • OpenStack

    OpenStack 是一个云操作系统,通过数据中心可控制大型的计算、存储、网络等资源池。所有的管理通过前端界面管理员就可以完成,同样也可以通过 Web 接口让最终用户部署资源。

    10 引用 • 6 关注
  • 数据库

    据说 99% 的性能瓶颈都在数据库。

    330 引用 • 614 回帖
  • 单点登录

    单点登录(Single Sign On)是目前比较流行的企业业务整合的解决方案之一。SSO 的定义是在多个应用系统中,用户只需要登录一次就可以访问所有相互信任的应用系统。

    9 引用 • 25 回帖 • 3 关注
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    11 引用 • 5 回帖 • 565 关注
  • 服务器

    服务器,也称伺服器,是提供计算服务的设备。由于服务器需要响应服务请求,并进行处理,因此一般来说服务器应具备承担服务并且保障服务的能力。

    124 引用 • 580 回帖
  • Wide

    Wide 是一款基于 Web 的 Go 语言 IDE。通过浏览器就可以进行 Go 开发,并有代码自动完成、查看表达式、编译反馈、Lint、实时结果输出等功能。

    欢迎访问我们运维的实例: https://wide.b3log.org

    30 引用 • 218 回帖 • 605 关注
  • 分享

    有什么新发现就分享给大家吧!

    242 引用 • 1747 回帖 • 1 关注
  • 友情链接

    确认过眼神后的灵魂连接,站在链在!

    24 引用 • 373 回帖
  • SOHO

    为成为自由职业者在家办公而努力吧!

    7 引用 • 55 回帖 • 93 关注
  • SSL

    SSL(Secure Sockets Layer 安全套接层),及其继任者传输层安全(Transport Layer Security,TLS)是为网络通信提供安全及数据完整性的一种安全协议。TLS 与 SSL 在传输层对网络连接进行加密。

    69 引用 • 190 回帖 • 496 关注