分布式系统概述

本贴最后更新于 1984 天前,其中的信息可能已经事过景迁

关键词:分布式系统、TCP/IP、NIO 模型

一、基本概念

    **分布式系统:**多个节点(一般来说一个节点即一台计算机),且节点间互相连通(网络&消息传递) -> 在这些连通的节点上部署了组件并且组件之间的操作互相连通,,,这样的一个系统可以认为是一个分布式系统

    **冯诺依曼模型:**输入设备、存储器(内存&外存)、控制器、运算器、输出设备

        分布式系统~~超级计算机,也同样符合冯诺依曼模型

    多线程交互模式:

  • 互不通信的多线程模式:不处理共享数据,也不进行动作协调情况
  • 基于共享容器协同的多线程模式 - 并发访问:多个线程对共享的数据(存储数据的容器或数据对象,如 java 中的容器类)队列进行处理,注意线程不安全问题
  • 基于事件协同的多线程模式-线程间协调:如 B 线程需要等到某个状态或事件发生后才能继续执行,而这个状态改变或事件产生食欲 A 线程相关的,注意死锁问题(一般地,能够原子性地获取需要的多个锁或者注意调整对多个锁的获取顺序,就会比较好地避免死锁)

   ** 阿姆达尔定律(Amdahl's law):**    ​(=> 当{\displaystyle p\to \infty }p\to \infty​时,上式的极限是{\displaystyle {\frac {W}{W_{s}}}}\frac{W}{W_s}​),,也就是说增加处理器总核心数 p 所能带来速度提升的上限是\frac{W}{W_s}​(-> 上限的值则是决定于程序中可串行 serial 和可并行 parallel 部分程序​的占比,因此可并行部分程序占比越大上限值越大)

**    多进程模式:进程间的内存是独立的,因此多进程之间的数据共享、通信**与多线程是不一样的(线程是属于进程的,多线程间是共享内存的)

=> 单线程和单进程多线程(机器故障、OS 问题、进程问题会导致整个功能不可用)

=> 多进程系统(机器故障、OS 问题会导致整个功能不可用,单个进程问题则可能系统部分功能仍然是正常)

=> 多机分布式系统(某些机器故障、OS 问题或某些机器的进程问题,仍然可以保证整体功能大体可用)

二、网络通信协议

    **OSI 七层网络模型:**物理层、数据链路层、网络层、传输层、会话层、表示层、应用层

    **TCP/IP 模型:**网络接口层、网络互联层、传输层、应用层

    **以太网:**一种计算机局域网技术,包括物理层的连线、电子信号和介质访问层协议的内容

    => 实践中主要是以太网及 TCP/IP 协议栈,使用 Socket 套接字进行网络通信开发,共有三种方式:BIO、NIO 和 AIO

    **BIO 方式:**Blocking IO,采用阻塞方式实现,也即一个 Socket 套接字对应一个线程处理(发生建立连接、读数据、写数据操作时都可能会阻塞,优点是简单,缺点是一个线程只能处理一个 socket 导致在支持并发连接时需要很多的线程)

    **NIO 方式:**Nonblocking IO,非阻塞方式,基于事件驱动思想采用 Reactor 模式(优势是可以在一个线程中处理多个 socket 套接字),即统一通过 Reactor 对所有客户端的 Socket 套接字的事件(hander)做处理并派发到不同的线程中

    **AIO 方式:**AsynchronousIO,异步 IO,采用 Proactor 模式(NIO 在有通知时可以进行相关的操作,而 AIO 在有通知时则表示相关操作已经完成)

三、分布式系统 - 超级计算机

**输入设备:**互相连接的多个节点(通信时互为输入)+ 传统人机交互的输入设备

**存储器:**代理方式的多机 Key-Value 服务、名称服务的多机 Key-Value 服务、规则服务的多机 Key-Value 服务、Master 控制的多机 Key-Value 服务

**控制器:**协调或控制节点之间的动作和行为,如透明代理(硬件负载均衡设备、软件负责均衡系统,不足是网络开销(流量和延迟)和单点故障)、名称服务的直连方式(与请求处理的机器是交互的,不足是升级较复杂)、规则服务器控制路由的请求直连方式(与请求处理的机器是不交互的,不足是升级较复杂)、Master+Worker 方式(任务的分配和管理)

**运算器:**DNS 服务器进行调度和控制、负责均衡、规则服务器、Master+Worker

**输出设备:**互相连接的多个节点(通信时互为输出)+ 传统人机交互的输出设备

四、分布式系统的难点

    缺乏全局时钟、如何应对和解决故障独立性、单点故障问题 SPoF(Single Point of Failure)、分布式事务问题

【读书系列】

    《大型网站系统与 Java 中间件实践》,曾宪杰,电子工业出版社

  • 分布式
    78 引用 • 149 回帖 • 4 关注
  • 学习

    “梦想从学习开始,事业从实践起步” —— 习近平

    161 引用 • 473 回帖
  • 读书
    16 引用 • 30 回帖 • 1 关注

相关帖子

欢迎来到这里!

我们正在构建一个小众社区,大家在这里相互信任,以平等 • 自由 • 奔放的价值观进行分享交流。最终,希望大家能够找到与自己志同道合的伙伴,共同成长。

注册 关于
请输入回帖内容 ...

推荐标签 标签

  • Telegram

    Telegram 是一个非盈利性、基于云端的即时消息服务。它提供了支持各大操作系统平台的开源的客户端,也提供了很多强大的 APIs 给开发者创建自己的客户端和机器人。

    5 引用 • 35 回帖 • 1 关注
  • QQ

    1999 年 2 月腾讯正式推出“腾讯 QQ”,在线用户由 1999 年的 2 人(马化腾和张志东)到现在已经发展到上亿用户了,在线人数超过一亿,是目前使用最广泛的聊天软件之一。

    45 引用 • 557 回帖 • 222 关注
  • SpaceVim

    SpaceVim 是一个社区驱动的模块化 vim/neovim 配置集合,以模块的方式组织管理插件以
    及相关配置,为不同的语言开发量身定制了相关的开发模块,该模块提供代码自动补全,
    语法检查、格式化、调试、REPL 等特性。用户仅需载入相关语言的模块即可得到一个开箱
    即用的 Vim-IDE。

    3 引用 • 31 回帖 • 72 关注
  • DNSPod

    DNSPod 建立于 2006 年 3 月份,是一款免费智能 DNS 产品。 DNSPod 可以为同时有电信、网通、教育网服务器的网站提供智能的解析,让电信用户访问电信的服务器,网通的用户访问网通的服务器,教育网的用户访问教育网的服务器,达到互联互通的效果。

    6 引用 • 26 回帖 • 521 关注
  • Swift

    Swift 是苹果于 2014 年 WWDC(苹果开发者大会)发布的开发语言,可与 Objective-C 共同运行于 Mac OS 和 iOS 平台,用于搭建基于苹果平台的应用程序。

    34 引用 • 37 回帖 • 497 关注
  • PHP

    PHP(Hypertext Preprocessor)是一种开源脚本语言。语法吸收了 C 语言、 Java 和 Perl 的特点,主要适用于 Web 开发领域,据说是世界上最好的编程语言。

    164 引用 • 407 回帖 • 527 关注
  • SendCloud

    SendCloud 由搜狐武汉研发中心孵化的项目,是致力于为开发者提供高质量的触发邮件服务的云端邮件发送平台,为开发者提供便利的 API 接口来调用服务,让邮件准确迅速到达用户收件箱并获得强大的追踪数据。

    2 引用 • 8 回帖 • 439 关注
  • Lute

    Lute 是一款结构化的 Markdown 引擎,支持 Go 和 JavaScript。

    25 引用 • 191 回帖 • 21 关注
  • Node.js

    Node.js 是一个基于 Chrome JavaScript 运行时建立的平台, 用于方便地搭建响应速度快、易于扩展的网络应用。Node.js 使用事件驱动, 非阻塞 I/O 模型而得以轻量和高效。

    138 引用 • 268 回帖 • 197 关注
  • MongoDB

    MongoDB(来自于英文单词“Humongous”,中文含义为“庞大”)是一个基于分布式文件存储的数据库,由 C++ 语言编写。旨在为应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 JSON 的 BSON 格式,因此可以存储比较复杂的数据类型。

    90 引用 • 59 回帖
  • 架构

    我们平时所说的“架构”主要是指软件架构,这是有关软件整体结构与组件的抽象描述,用于指导软件系统各个方面的设计。另外还有“业务架构”、“网络架构”、“硬件架构”等细分领域。

    140 引用 • 441 回帖
  • 创造

    你创造的作品可能会帮助到很多人,如果是开源项目的话就更赞了!

    172 引用 • 990 回帖
  • Latke

    Latke 是一款以 JSON 为主的 Java Web 框架。

    70 引用 • 532 回帖 • 712 关注
  • webpack

    webpack 是一个用于前端开发的模块加载器和打包工具,它能把各种资源,例如 JS、CSS(less/sass)、图片等都作为模块来使用和处理。

    41 引用 • 130 回帖 • 294 关注
  • JRebel

    JRebel 是一款 Java 虚拟机插件,它使得 Java 程序员能在不进行重部署的情况下,即时看到代码的改变对一个应用程序带来的影响。

    26 引用 • 78 回帖 • 623 关注
  • Linux

    Linux 是一套免费使用和自由传播的类 Unix 操作系统,是一个基于 POSIX 和 Unix 的多用户、多任务、支持多线程和多 CPU 的操作系统。它能运行主要的 Unix 工具软件、应用程序和网络协议,并支持 32 位和 64 位硬件。Linux 继承了 Unix 以网络为核心的设计思想,是一个性能稳定的多用户网络操作系统。

    915 引用 • 931 回帖
  • Shell

    Shell 脚本与 Windows/Dos 下的批处理相似,也就是用各类命令预先放入到一个文件中,方便一次性执行的一个程序文件,主要是方便管理员进行设置或者管理用的。但是它比 Windows 下的批处理更强大,比用其他编程程序编辑的程序效率更高,因为它使用了 Linux/Unix 下的命令。

    122 引用 • 73 回帖
  • CentOS

    CentOS(Community Enterprise Operating System)是 Linux 发行版之一,它是来自于 Red Hat Enterprise Linux 依照开放源代码规定释出的源代码所编译而成。由于出自同样的源代码,因此有些要求高度稳定的服务器以 CentOS 替代商业版的 Red Hat Enterprise Linux 使用。两者的不同在于 CentOS 并不包含封闭源代码软件。

    238 引用 • 224 回帖 • 1 关注
  • RIP

    愿逝者安息!

    8 引用 • 92 回帖 • 290 关注
  • ActiveMQ

    ActiveMQ 是 Apache 旗下的一款开源消息总线系统,它完整实现了 JMS 规范,是一个企业级的消息中间件。

    19 引用 • 13 回帖 • 626 关注
  • LaTeX

    LaTeX(音译“拉泰赫”)是一种基于 ΤΕΧ 的排版系统,由美国计算机学家莱斯利·兰伯特(Leslie Lamport)在 20 世纪 80 年代初期开发,利用这种格式,即使使用者没有排版和程序设计的知识也可以充分发挥由 TeX 所提供的强大功能,能在几天,甚至几小时内生成很多具有书籍质量的印刷品。对于生成复杂表格和数学公式,这一点表现得尤为突出。因此它非常适用于生成高印刷质量的科技和数学类文档。

    9 引用 • 32 回帖 • 166 关注
  • 博客

    记录并分享人生的经历。

    270 引用 • 2386 回帖
  • 工具

    子曰:“工欲善其事,必先利其器。”

    273 引用 • 679 回帖 • 1 关注
  • Hexo

    Hexo 是一款快速、简洁且高效的博客框架,使用 Node.js 编写。

    21 引用 • 140 回帖 • 25 关注
  • Redis

    Redis 是一个开源的使用 ANSI C 语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value 数据库,并提供多种语言的 API。从 2010 年 3 月 15 日起,Redis 的开发工作由 VMware 主持。从 2013 年 5 月开始,Redis 的开发由 Pivotal 赞助。

    284 引用 • 247 回帖 • 176 关注
  • RESTful

    一种软件架构设计风格而不是标准,提供了一组设计原则和约束条件,主要用于客户端和服务器交互类的软件。基于这个风格设计的软件可以更简洁,更有层次,更易于实现缓存等机制。

    30 引用 • 114 回帖
  • CloudFoundry

    Cloud Foundry 是 VMware 推出的业界第一个开源 PaaS 云平台,它支持多种框架、语言、运行时环境、云平台及应用服务,使开发人员能够在几秒钟内进行应用程序的部署和扩展,无需担心任何基础架构的问题。

    5 引用 • 18 回帖 • 152 关注