Page 40 - 网络电信2019年7月刊下
P. 40
数据采集层：实现云应用、云资源数据、运营商专网数据 队列中获取性能和告警数据。数据处理机是消息的消费者，数
采集及第三方管理系统集成功能，对采集的数据进行预处理， 据采集机是消息的生产者，在生产者众多的情况下，为了分散
并上报数据到消息队列中间件。 数据处理的压力，需要部署多台数据处理机，多台数据处理机
数据处理层：实现云应用、云资源数据、运营商专网数据 之间采用竞争的方式进行数据的处理，处理后的数据传输到数
的处理、汇聚、诊断以及告警等核心功能，同时进行采集任务 据库进行持久化操作。
的调度下发。 (4)在一个高可用的系统中，数据库一定是高可用的，数据
数据存储层：实现基础业务数据、动态监控数据的存储、 存储层的关系型数据库采用主备模式提供数据存储的高可用性
查询、分析功能。 支持。
业务管理层：主要实现多租户模式的客户管理、客户云网 (5)业务管理层提供用户侧服务，采用负载均衡的方式分担
资源管理、告警展示、监控数据展示、报表、流程管理等核心 Web用户和移动终端用户的访问压力，从数据存储层获取数据，
业务功能。 通过浏览器和移动设备向用户展示数据。
平台向下实现对接运营商网络、企业、云计算服务提供商 3、系统存储容量估算
的能力，向上提供企业用户、运营用户的访问能力，通过接口 整个系统的数据根据数据量和查询频度可以分为两大类，
与其他外部系统进行集成。 一类为相对静态的基础数据（如：客户信息、设备信息等），
由于监控系统对可靠性、可用性的要求较高，除了在系统 另外一类是动态的监控数据（如：网络时延、丢包、抖动数
部署层次进行高可用性的设计外，还需要考虑到组成系统的各 据）。动态的监控数据的采集是周期性的，且数据需要保留一
部分组件的分布式高可用性设计，分布式、高可用性框架的详 定的时间，所以会产生巨大的数据量，系统动态监控数据的总
细实现可以参考专利“一种边缘计算引擎的实现方法及装置” 数量（单位：条）与监控对象指标数量（e，单位：个）、采集
（申请号：201811146579.7），文中不再赘述。 间隔（f，单位：s）及数据保留时长（t，单位：天）之间的关
2、系统部署设计 系见公式（2）。
基于系统的分层架构设计，系统的部署也采用了分层的设
计方式，具体如图5所示。 （2）
图5 面向运营商的云网一体化监控系统分层部署设计 其中，F i (e i ,f i ,t i )为不同采集间隔的动态监控数据的数据
量。
（3）
根据实际系统的监控经验，每个设备的监控指标数量一般
为32个，包括采集间隔10s的2个、60s的30个；如果系统的监控
设备数量为10000台，则监控指标数量为：采集间隔10s
的20000个、60s的300000个。每条数据大约占用0.07kB的
存储空间，所有数据的保留时间为365天。
对系统需要存储的总动态监控数据量（单位：条）和存储
空间（单位：TB）分析如下。
①采集间隔为10s的动态监控数据量（单位：条）
F1(e1,f1,t1) = (20000×365×60×24×60)/10=63072000
000
②采集间隔为60s的动态监控数据量（单位：条）
F1(e1,f1,t1) = (300000×365×60×24×60)/60=1576800
00000
(1)数据采集层部署了多个数据采集机，采集机由于要存
③系统总的动态监控数据量（单位：条）
储采集任务、基础数据、监控数据信息，所以自身带有一个数
F(e,f,t)=F1(e1,f1,t1)+F2(e2,f2,t2)=220752000000
据库系统。每个监控对象只能由一台采集机进行数据的采集工
④系统总的存储空间（单位：TB）
作。由于每台采集机的容量有限，所以需要通过部署多台采集
S=220752000000×0.07÷1024÷1024÷1024≈14.39TB
机的方式分散采集压力，以支持大规模监控对象的采集工作；
以10000台设备来计算，1年的动态监控数据量近2208亿
同时通过不同的采集机隔离多租户的采集数据，确保数据安
条，需要的存储空间近14.39TB。动态监控数据的特点是数据
全。
量大、查询频度低，应采用分布式数据库系统（例如HBase）进
(2)消息队列是整个系统的数据传输通道，采用高可用的部
行存储，对于动态监控数据存储模型的详细设计可以参考专利
署模式。
“一种基于HBase的网络大数据模型设计方法及系统”（申请
(3)数据处理层部署了多台数据处理机，数据处理机从消息
号：201811343471.7），文中不再赘述。基础数据的特点是数
网络电信 二零一九年七月 65
