一个小问题的分析

本贴最后更新于 2009 天前,其中的信息可能已经时异事殊

今天线上出现了一个字符超长引起 mysql 抛出异常的问题

问题本身不大,上游系统有 bug,传递的字符串没有做 trim 处理,导致报文节点中的字段远远超出预留长度

反应给领导的时候,领导对我的汇报并不满意

我说,这个问题是由于上游传下的数据过长

领导说,这是表象,出现这个问题的根本原因是什么?为什么在上游传下来的时候没有校验住,而使错误的数据流入系统了引起报警呢

之后的对话有点记不清了,我提出这个校验应该由上游系统做,于是叫来了上游系统的负责人,在一旁的组长也加入了讨论

讨论中大体涉及到了如下几点:

  • 错误的数据是前端下传的,还是系统 bug 引起的
  • 前端控件是否有限制,是否有校验,是否有提示
  • 是否应对数据长度添加校验

讨论中还是感到了自己表述能力的匮乏。讨论中提到的点,我也大都能想到,但是当我向领导汇报的时候,我似乎只能说个,上游系统问题,上游应当校验,听起来倒有点推卸责任的感觉

我所思考的内容是:

这个数据到本系统时,已经分发到了多个其他系统,所以类似异常数据的处理,肯定不在本系统做,做了其他系统也要做,如果处理逻辑差异较大,会造成数据不一致

而上游若要对字段长度做校验,那理论上所有字段都应该校验,但是关于数据长度,要么业务上有明确的限制,比如评论限制 200 条,那么底层保留两百的长度,这种校验则应在前端就有所体现,校验逻辑应当在前端直接提交的服务端有所体现。

而如果没有明确的业务上的长度限制,如用户地址,理论上,用户想输入多少就输入多少,但是正常情况下,地址信息的长度是有限的,最详细的地址比如身份证上的地址,长度也是有限的,要保存数据的服务端预留一个长度即可,如果加上校验,则很被动,一旦出现真实的而又超出系统限制的字段,不仅需要修改数据库的长度,还要修改代码中的校验长度,无法快速的让正确信息保存下来

所以,对于本次问题的结论,我想应当是:
上游修正 bug,其他系统不动

  • B3log

    B3log 是一个开源组织,名字来源于“Bulletin Board Blog”缩写,目标是将独立博客与论坛结合,形成一种新的网络社区体验,详细请看 B3log 构思。目前 B3log 已经开源了多款产品:SymSoloVditor思源笔记

    1083 引用 • 3461 回帖 • 285 关注
  • Q&A

    提问之前请先看《提问的智慧》,好的问题比好的答案更有价值。

    6542 引用 • 29403 回帖 • 245 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...
  • 系统大了以后要想稳定,就只能各种 if ,想在某个地方统一校验是不现实的,服务提供者理论上是要校验参数的,至少要保证再烂的参数本系统也不能炸。

    1 回复
  • 从数据的入口校验不就统一了?

    1 回复
  • mainlove

    肯定是后台要判定 像 laket 的 ORM,建表的长度注解对应存储的数据的格式 是都有校验的
    现在都是分离的情况,不可能让所有系统按照某个标准来
    自己要管好自己的容错率

    1 回复
  • 对于这种上游来的数据,校验返回上游错误也好,抛异常也好,结果都是一样的
    其实我这里主要是想描述下如何将结论说的有理有据而不是就一句话

  • ayoungman

    对啊,直接在前端直接限制或者实现校验,就不会出现问题了。
    楼主也说了需要多个系统处理,这就更显现出在数据入口的前端验证更加简单。

  • 88250 1

    从分布式系统、微服务来说各子系统处理自己的数据都要校验,不能只在端用户的业务流程入口处校验。因为有些情况就是上游系统(服务消费者)给的参数就有问题,不能按照明显错误的参数继续处理。另外,抛异常和返回业务错误码是完全不一样的,微服务 RPC 的时候尽量不要抛异常,影响性能不说,最重要的是没法保证语义,统一返回业务错误码是更好的选择。

    1 回复
  • 受教了🙏

  • KylinShaw

    D 大说的对,再烂的参数也不能炸,客户走进酒吧点了一桶泡面,点了一份蛋炒饭,但是你的酒吧不能就这么炸了,你直接回复没有就好了,你不能说客户不能这么点单,这么点单不合符规矩。

    1 回复
  • 你这个例子其实正是我不返回错误的原因
    客户点了一份蛋炒饭,但是服务员写成了蛋壳炒饭,后厨接小票时,不是一看小票对服务员说,告诉客户这个不能点,而是跟服务员说,这个你写错了吧,然后去炒了蛋炒饭。下单写的菜是否正确,理论上应该服务员去做,后厨有兜底当然更好,没有的话只要服务员履行好责任也不会有问题

请输入回帖内容 ...
ZephyrJung
一切有为法,如梦幻泡影,如露亦如电,应作如是观 香港

推荐标签 标签

  • 新人

    让我们欢迎这对新人。哦,不好意思说错了,让我们欢迎这位新人!
    新手上路,请谨慎驾驶!

    51 引用 • 226 回帖
  • JRebel

    JRebel 是一款 Java 虚拟机插件,它使得 Java 程序员能在不进行重部署的情况下,即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 623 关注
  • CodeMirror
    1 引用 • 2 回帖 • 116 关注
  • Kubernetes

    Kubernetes 是 Google 开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理。

    108 引用 • 54 回帖 • 2 关注
  • 强迫症

    强迫症(OCD)属于焦虑障碍的一种类型,是一组以强迫思维和强迫行为为主要临床表现的神经精神疾病,其特点为有意识的强迫和反强迫并存,一些毫无意义、甚至违背自己意愿的想法或冲动反反复复侵入患者的日常生活。

    15 引用 • 161 回帖 • 5 关注
  • 大数据

    大数据(big data)是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    89 引用 • 113 回帖 • 1 关注
  • 运维

    互联网运维工作,以服务为中心,以稳定、安全、高效为三个基本点,确保公司的互联网业务能够 7×24 小时为用户提供高质量的服务。

    148 引用 • 257 回帖
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    21 引用 • 140 回帖 • 25 关注
  • IPFS

    IPFS(InterPlanetary File System,星际文件系统)是永久的、去中心化保存和共享文件的方法,这是一种内容可寻址、版本化、点对点超媒体的分布式协议。请浏览 IPFS 入门笔记了解更多细节。

    20 引用 • 245 回帖 • 229 关注
  • 负能量

    上帝为你关上了一扇门,然后就去睡觉了....努力不一定能成功,但不努力一定很轻松 (° ー °〃)

    85 引用 • 1201 回帖 • 450 关注
  • Electron

    Electron 基于 Chromium 和 Node.js,让你可以使用 HTML、CSS 和 JavaScript 构建应用。它是一个由 GitHub 及众多贡献者组成的活跃社区共同维护的开源项目,兼容 Mac、Windows 和 Linux,它构建的应用可在这三个操作系统上面运行。

    15 引用 • 136 回帖 • 8 关注
  • Bug

    Bug 本意是指臭虫、缺陷、损坏、犯贫、窃听器、小虫等。现在人们把在程序中一些缺陷或问题统称为 bug(漏洞)。

    77 引用 • 1741 回帖 • 1 关注
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    915 引用 • 931 回帖
  • RYMCU

    RYMCU 致力于打造一个即严谨又活泼、专业又不失有趣,为数百万人服务的开源嵌入式知识学习交流平台。

    4 引用 • 6 回帖 • 38 关注
  • WiFiDog

    WiFiDog 是一套开源的无线热点认证管理工具,主要功能包括:位置相关的内容递送;用户认证和授权;集中式网络监控。

    1 引用 • 7 回帖 • 545 关注
  • 周末

    星期六到星期天晚,实行五天工作制后,指每周的最后两天。再过几年可能就是三天了。

    14 引用 • 297 回帖
  • 小说

    小说是以刻画人物形象为中心,通过完整的故事情节和环境描写来反映社会生活的文学体裁。

    28 引用 • 108 回帖
  • Swagger

    Swagger 是一款非常流行的 API 开发工具,它遵循 OpenAPI Specification(这是一种通用的、和编程语言无关的 API 描述规范)。Swagger 贯穿整个 API 生命周期,如 API 的设计、编写文档、测试和部署。

    26 引用 • 35 回帖 • 13 关注
  • CAP

    CAP 指的是在一个分布式系统中, Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可兼得。

    11 引用 • 5 回帖 • 562 关注
  • 七牛云

    七牛云是国内领先的企业级公有云服务商,致力于打造以数据为核心的场景化 PaaS 服务。围绕富媒体场景,七牛先后推出了对象存储,融合 CDN 加速,数据通用处理,内容反垃圾服务,以及直播云服务等。

    25 引用 • 215 回帖 • 163 关注
  • 外包

    有空闲时间是接外包好呢还是学习好呢?

    26 引用 • 232 回帖 • 5 关注
  • danl
    62 关注
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    284 引用 • 247 回帖 • 177 关注
  • 旅游

    希望你我能在旅途中找到人生的下一站。

    85 引用 • 895 回帖
  • Gzip

    gzip (GNU zip)是 GNU 自由软件的文件压缩程序。我们在 Linux 中经常会用到后缀为 .gz 的文件,它们就是 Gzip 格式的。现今已经成为互联网上使用非常普遍的一种数据压缩格式,或者说一种文件格式。

    9 引用 • 12 回帖 • 111 关注
  • 星云链

    星云链是一个开源公链,业内简单的将其称为区块链上的谷歌。其实它不仅仅是区块链搜索引擎,一个公链的所有功能,它基本都有,比如你可以用它来开发部署你的去中心化的 APP,你可以在上面编写智能合约,发送交易等等。3 分钟快速接入星云链 (NAS) 测试网

    3 引用 • 16 回帖
  • Sphinx

    Sphinx 是一个基于 SQL 的全文检索引擎,可以结合 MySQL、PostgreSQL 做全文搜索,它可以提供比数据库本身更专业的搜索功能,使得应用程序更容易实现专业化的全文检索。

    1 引用 • 179 关注