80后聊架构 延时与吞吐量 Latency Throughput vs 架构设计中两个关键目的

《架构师之路：架构设计中的100个常识点》三：延时与吞吐量

有好友问我说，架构优化时，什么时刻要重点优化延时，什么时刻要重点优化吞吐量？

画外音：补充浏览资料在最后。

延时（Latency）与吞吐量（Throughput）是架构设计中十分关键，又十分容易搞混的两个目的。

什么是延时？

延时是指成功某个举措所须要的期间。

前往一个HTTP恳求的期间是200毫秒，咱们说恳求的延时是200毫秒。

生一个孩子的期间是10个月，咱们说生孩子延时是10个月。

什么是吞吐量？

吞吐量是指单位期间内成功某个举措的次数。

一个恳求的处置期间是200毫秒，复线程每秒钟可以处置5个恳求，咱们就说其的吞吐量是每秒5次。

10个月能生一个孩子，咱们就说生孩子的吞吐量是每10月1个。

延时和吞吐量有什么相关？

普通来说，降落延时可以优化吞吐量。

例如：200毫秒处置一个恳求，优化为100毫秒处置一个恳求，吞吐量就由5优化为10了。

然而，不降落延时也可以优化吞吐量。

例如：复线程200毫秒处置一个恳求，线程数参与到10，吞吐量就由5优化为50了。

画外音：假设CPU不是瓶颈。

有时刻，延时是很难降落，此时不能靠降落延时参与吞吐量。

例如：生孩子的延时就必定是10个月。

此时，优化吞吐量的方法只能多个家庭并发一同生。

回到开篇的疑问，架构优化时，什么时刻要重点优化延时，什么时刻要重点优化吞吐量？

关于大规模系统的架构设计而言：

系统的性能，是有天花板的，延时不能有限优化，无法能降到0。

系统的裁减性，通常上是有限的，架构正当的话，吞吐量可以有限优化，能同时为有限多的用户同时服务。

一句话来回答这个疑问：