Page 20 - 网络电信2018年4月刊上

运 营 商 专 栏

性和高效性。 （1）互联网业务维度占比分析
－基于ORC文件极限存储模式，对比传统方法极大地减少数 互联网业务类型是网络运营者和广大互联网企业、用户都
据存储量，并且只需存储1次。普通的HDFS采用的文件格式占用 非常关心的重要数据，通过相关的数据信息的组合分析可以获
存储非常大，直接严重影响了数据存储效率，间接延长了数据 取具有实际指导意义的分析场景，以互联网业务为例可获取域
处理时间。本优化方案采用了ORC文件存储，有效降低了数据存 名业务类型占比参考数据。将占总访问量80%以上的域名和产品
储成本并提升了时间效率，经测试采用ORC格式存储压力是原有 业务类型进行分类整合并归纳出电商类、通信类、视频类、地
模式的3.33%。 图类、下载类、社交类、音乐类、视频类等20个域名类型。通
－基于MapReduce框架进行开发，发生任何的格式变化或数 过域名类型的占比来分析全网资源的业务情况。图4显示主要的
据异常，只要按照标准MapReduce框架即可实现格式通用，和传 访问集中在购物类和视频类，二者分别占总访问量的21.28%和
统方法相比减少了开发维护的工作量。运营维护工作简易，无 15.74%。
需专门的数据库维护人员，减少了购置数据库机器和软件许可 图4 域名业务维度占比分析
的采购成本。

五、现网海量DNS数据分析技术优化的效果
基于上述域名数据分析的技术优化应用，可以对域名查询
存储的海量流量数据信息进行高效的计算、分析划分。存储的
域名数据由查询的源地址、域名、解析地址等信息构成，因此
可以通过对上述类型数据进行按源地址、域名、解析地址等维
度进行归类。同时再结合网络地址段划分，又可以进行网络维
度例如宽带网、移动网，或者省网中的各地市网络地址段进行
划分，实现多个维度的信息区分，包括以下几点：
－用户维度，以地址进行划分；
－域名维度，以查询的域名划分；
－网络维度范围，例如宽带网、移动网以源地址划分，或
（2）某一业务类型维度的排名分析
者不同地市的城域网以网络地址段进行划分；
通过DNS海量数据分析，不仅能实现域名类型和域名所属业
－业务维度，以各域名所属的业务类型进行划分；
务相互组合分析不同域名类型中域名所属的业务量、相关排名
－其他各维度的组合分类。
和占比，还可以通过环比不同周期的域名业务量发现互联网中
并且可以用报表、图形等多种方式进行呈现。实现DNS数据
业务种类变化趋势以及相同业务中的竞争关系变化。对于业务
多维度分析的效果概述如图3所示。
量持续发展快速的域名可以进行相关的资源调整，如图5所示。
图3 DNS数据分析的效果
图5 视频类业务不同网站的访问分析

图6 域名流量监控分析

（3）域名流量维度的监控分析
对重点关注的域名进行实时流量的监控，及时发现流量的
异常变化，如图6所示。

20 网络电信 二零一八年四月