阿里万亿交易量级下的秒级监控
我要讲的内容是偏工程的:怎么在万亿交易量下实现足够实时的秒级监控? 先介绍一下监控系统 Sunfire,它是阿里集团的业务监控系统,前身是蚂蚁的 xflush, 支持应用标准化监控,如操作系统,JVM,中间件等。除此之外还有更强大的日志监控能力,大多数业务的监控指标都从应用的日志中抽取。目前覆盖了集团几乎所有 BU 和绝大多数业务,每分钟处理 TB 级日志。 下面将从以下四个方面进行讲解: 架构规模与挑战技术选择方向 一、架构 每分钟处理这么大的TB级日志量,我们是怎么设计架构去实现它的呢? 1.1、传统日志监控 上图是传统的日志监控,现在大多数监控平台采用的一个方案。Agnet 检测日志变化增量推送,经过消息中间件如 kafka,流式计算引擎如 Jstorm/flink 去消费 kafka...阅读全文