Uber大型分布式系统可靠性运维实践( 四 )_大型分布式系统的构建和运维是现代IT面

请求延迟值则更需要深入探究一番。在对于生产服务中，最终目的是让大多数最终用户可以获得良好的用户体验。如果光用平均延迟时间，则不能反应真实的情况，会掩盖一小部分高延迟请求的实事，所以光用这个指标，不是一个很好监控。对该项监控，可以使用p95 ， p99或p999：百分之95、百分之99和百分之99.9的请求的延迟时间。用着三个监控项就可以回答\"99%的人的请求多快?\"之类的问题（p99）。或\"1000个请求中最慢的请求是多少？\"（p999）。

关于监控和可观察性业界也有很多研究理论，大家可以参考Google的SRE书和、《分布式系统监控》中的四个黄金信号的部分。在书中建议，如果你只能测量面向用户的系统的四个指标，请关注流量、错误率，延迟和饱和度。

业务监控。虽然监控服务可以提供很多关于服务看起来是否正常运行，但是不能告诉是否按预期工作。在支付系统的情况下，一个很关键问题是\"人们可以使用特定的支付方式进行交易吗？\" 。识别服务在线并且监控这些业务事件是最重要的业务监控步骤之一。