网络可视化即网络流量监测,以网络流量的采集与深度检测为基本手段,综合各种网络处理与信息处理技术,对网络的物理链路、逻辑拓扑、运行质量、协议标准、流量内容、用户信息、承载业务等进行监测、识别、统计、展现、管控,进而大数据分析与挖掘,实现网络管理、信息安全与商业智能的一类应用系统。
(1)网络可视化基本概念
网络可视化即网络流量监测,以网络流量的采集与深度检测为基本手段,综合各种网络处理与信息处理技术,对网络的物理链路、逻辑拓扑、运行质量、协议标准、流量内容、用户信息、承载业务等进行监测、识别、统计、展现、管控,进而大数据分析与挖掘,实现网络管理、信息安全与商业智能的一类应用系统。
网络可视化由前端与后端组成,前端通常负责流量及数据的识别采集,后端负责数据的各类分析及应用,最终满足运营商、政府、企事业单位等客户对于网络优化、运营维护、大数据运营以及信息安全等方面的需求。
互联网目前正从流量及数据的被动可视化逐步向可视、可管、可控、可预测的智能化方向发展。
网络可视化行业的发展阶段,业内通常划分为三个阶段,分别为“网络使用分析”、“可视化业务控制和管理”以及“智能化业务管理”。
第一阶段:主要集中在网络使用分析:该阶段主要出于网络管理和维护的目的,利用流量采集和DPI技术,对于网络的使用情况,进行统计和分析,发现和定位网络故障点、性能瓶颈等。主要应用领域在企业市场和运营商市场。
第二阶段:重点发展基于网络可视化技术的业务控制和管理:P2P应用在互联网上的兴起,蠕虫、木马、DDOS攻击等网络威胁的增加,以及DFI、协议还原、流控等网络可视化新技术的出现,使这一阶段发展出很多对网络业务进行控制和管理的应用场景。例如,当时的P2P应用被称为“带宽杀手”,给全世界的运营商造成了较大的网络压力,导致很多常用业务(email、web浏览等)的用户体验变差。基于网络可视化的P2P流量管理和优化系统应运而生,帮助运营商解决这一问题。在这一阶段发展起来的典型应用还有骨干网流量清洗(针对蠕虫、网络攻击等)、非法业务检测、网络审计、网络行为管理等。
第三阶段:重点向业务智能方向发展:网络智能化系统开始利用整个信息通信技术领域内出现的新技术,例如大数据技术、SDN等,智能地识别网络流量情况和信息内容,动态地对网络业务进行定制和调整,支持不同的计费模式和个性化的业务流程。并进一步对网络流量数据进行深度挖掘,提取有价值的商业信息,例如分析用户特征、用户行为及其背后的真实意图和需求、网络舆论热点和传播等,并与广告、电商、位置服务、内容服务等各种商业形态实现更为精准的对接,从而创造更高的商业价值。
(2)网络可视化市场规模分析
①我国2020年网络可视化市场行业规模预计增长至接近300亿元:在“宽带中国”战略以及移动互联网快速发展带动下,我国网络基础设施建设规模不断扩大,网站内容和网络应用日新月异,我国已成为名副其实的互联网大国。根据2021年2月中国互联网络信息中心(CNNIC)发布第47次《中国互联网络发展状况统计报告》,截至2020年末,我国网民规模达到9.89亿,互联网普及率达70.4%。
在国内互联网基础设施以及互联网产业快速发展的背景下,我国网络可视化市场规模增长迅速,根据中金企信统计数据,我国网络可视化市场规模从2015年的77.84亿元持续增长至2019年的240亿元,四年复合增速达到21%。2020年国内网络可视化行业市场规模将增长至289.7亿元左右。
②国内网络可视化市场主要集中在政府、电信运营商以及企业三大主体,其中运营商市场占据35%左右的市场份额网络可视化的内在需求主要来源于以下三方面:1)信息安全与威胁加强,面向内容的监管势在必行;2)互联网流量急剧增长,运营商“智能管道”及“流量经营”成为必然;3)挖掘网络流量的潜在价值,最大限度发挥大数据经营优势。
基于网络可视化的上述三方面内在需求,目前国内网络可视化产业的市场及用户主要集中在政府、运营商以及企事业单位等三大主体。
A、对于政府而言,信息安全威胁与影响加强,内容与流量监管成为常态:自2013年“棱镜门”事件发生后,网络安全战略上升为国家战略,我国政府出台了系列政策保护我国信息安全。2014年2月,中央网络安全和信息化领导小组成立,习近平总书记亲自担任小组组长,并在中央网络安全和信息化领导小组第一次会议中强调“没有网络安全就没有国家安全,没有信息化就没有现代化。”
对于网络可视化的根本需求在于对网络内容的安全管理。近年来在《网络安全法》和《国家网络空间安全战略》等相关法律政策的催化下,以公安和互联网应急中心等为代表的政府机关部门对于网络内容监测管理的信息化投入持续提升。
B、对于运营商而言,互联网流量急剧增长,“智能管道”及“流量经营”成为必然:近年来,随着互联网业务飞速发展,新兴的数据业务在消费者的信息通信行为中所占比例越来越大,运营商网络侧的大部分资源已被各类数据流量所占用。
根据民生证券《计算机行业2020年年中投资策略:把握两大核心逻辑,拥抱核心资产紧抓优质细分》相关数据,民生证券研究院利用2014-2019年工信部公布数据进行指数预测得到2020、2021年我国移动互联网接入流量分别为1,697亿GB、2,180亿GB,预测2020、2021年增速分别为39.46%、28.42%。运营商将面临一方面网络带宽不断增加、网络建设投资不断增长,另一方面传统业务受到互联网公司OTT业务冲击,市场回报增长缓慢甚至开始降低的不利局面,运营商“被管道化”趋势更加明显。
在此背景下,以运营商和通信设备制造商为主的通信产业界提出了“智能管道”和“流量经营”的概念。运营商“智能管道”和“流量经营”的发展方向,为网络可视化行业带来了非常广阔的市场前景,网络可视化技术成为运营商相关系统中不可或缺的基础之一,发挥越来越重要的作用。
在3G/4G时代,运营商主要面向个人用户,依据流量和通话服务不同制定不同等级的资费方案,将互联网服务平等、无差别地提供给用户。5G时代到来后,运营商用户主体将逐渐由个人用户转变为医疗、制造、交通等垂直行业用户,根据不同用户对网络的具体需求提供各类定制化解决方案和差异化的网络服务。
C、对于企业用户而言,防止非法信息恶意传播,避免商业信息、科研成果泄漏,实时监控和管理网络资源使用情况,提高整体工作效率等成为现实需求在企业和行业信息化系统中,网络可视化越来越成为不可或缺的一部分。企业出于防止非法信息恶意传播,避免国家机密、商业信息、科研成果泄漏,实时监控和管理网络资源使用情况,提高整体工作效率等目的,需要基于网络可视化技术的上网行为管理、内网审计等信息系统。某些特定行业,例如金融行业等,还需要基于网络可视化的网络性能测量与监控系统、智能负载均衡系统和应用交付系统等。
D、网络可视化需求中运营商占据约35%左右的市场份额:在全球范围内,网络可视化需求中企业占据58%的市场份额,运营商占据33%的市场份额,政府占据8%的市场份额。我国网络可视化需求中,政府市场目前是该行业最大的细分市场,占比超过50%,其次为运营商市场,占比通常约35%左右,其余为企事业单位市场。
(3)网络可视化市场未来发展趋势
根据“十四五规划”和二零三五年远景目标,科技创新将是“十四五规划”时期的首要任务。目前,源自科技创新的“新基建”正在成为拉动我国经济快速增长的内生动力。创新作为“新基建”的重要依托,也是网络可视化的重要基础,随着云计算、物联网、人工智能、大数据等创新应用的发展,网络可视化产业的边际亦将不断拓宽。在科技创新的带动下,未来三到五年,网络可视化产业必将迎来发展的黄金时期。
①“新基建”带来流量数据进一步增长,推动网络可视化行业持续发展网络可视化行业的长期发展基础在于流量、数据的持续增长以及分析应用需求的不断增加,其发展逻辑链条整体如下:
近年来,我国互联网基础设施持续建设,互联网产业发展迅速,带动网络可视化市场持续进一步发展。
2019年5月,工业和信息化部等相关部门印发《关于开展深入推进宽带互联网提速降费支撑高质量发展2019专项行动的通知》,明确将开展“双G双提”,推动固定宽带和移动宽带双双迈入千兆(G比特)时代,100M及以上宽带用户比例提升至80%,4G用户渗透率力争提升至80%。
根据2021年2月中国互联网络信息中心(CNNIC)发布第47次《中国互联网络发展状况统计报告》,截至2020年末,我国网民规模达到9.89亿,互联网普及率达70.4%。
2020年以来,中央密集部署加快以人工智能、大数据、5G网络、物联网为代表的“新基建”进度,“新基建”获得前所未有的重视。根据工信部以及中国信息通信研究院相关数据显示,在5G领域,截至2020年末,我国5G终端连接数已超2亿,位居世界第一。
5G将开启万物互联新时代,革命性的提升了设备接入和信息传输的能力,推动了边缘流量特别是行业流量的爆发式增长,对海量数据的存储、处理、计算和分析需求,将进一步提升企业对于各类新型基础设施的投资需求。
“新基建”的持续稳步推进将进一步带动网络可视化市场持续健康发展,根据市场调研资料:我国网络可视化市场的增长速度预计在10%以上,预计到2026年行业市场规模将达到723.9亿元。
②网络可视化行业技术革新不断推进:网络可视化作为新一代信息基础设施的重要组成部分,在未来行业发展进程中,技术革新将不断推进,主要反映在以下几方面:
A、网络的大规模升级:5G移动互联网已于2019年6月起正式实现商用,流量进入爆发式增长阶段,随着5G承载带宽需求的大幅度提升,网络扁平化、大型数据中心机房的互联,将给骨干网提出巨大挑战,100G骨干网难以满足5G商用成熟后的网络带宽需求。未来200GE、400GE以及更高速率的网络接口标准也在发展之中。
2020年2月,欧洲电信标准化协会(ETSI)成立了“第五代固网”(The5thGenerationFixedNetwork,简称F5G)工作组,致力于研究F5G标准与应用,推动固定宽带代际演进。根据ETSI定义,F5G是以10GPON接入、Wi-Fi6和200G/400G传输等技术为代表的第五代固定网络,包含GRE(高可靠体验)、eFBB(增强固定带宽)、FFC(全光连接)三大应用场景,开创从光纤到户迈向光纤到房间、桌面、园区、工厂乃至机器的“光联万物”新纪元。
为了与之相适应,网络可视化产品的相关技术也要随之进行升级,并带来产品更新换代需求。
B、信息安全的深化:随着网络可视化在信息安全领域的应用越来越多,网络可视化系统中深度采用信息安全技术也成为一个重要趋势,例如基于网络可视化应用进行木马及病毒的检测与清洗、数据防泄漏、用户隐私保护、网络空间安全防护等技术将不断得到发展。
C、与SDN/NFV技术的结合:随着SDN(软件定义网络)与NFV(网络功能虚拟化)技术的发展和影响,一方面网络可视化技术需要在新的SDN/NFV环境下,进行部署和实施应用;另一方面,网络可视化应用也需要融入SDN/NFV来实现技术升级,即向软件定义可视化发展。
D、与大数据技术的结合:网络上每时每刻都在产生、传送和消费着巨大的数据量,随着大数据技术的发展,人们已经清晰认识到巨量数据中所蕴含的无穷价值及潜在应用。如何对巨量数据进行采集、处理和分析,如何尽可能挖掘出更多的价值,网络可视化系统将与大数据技术进一步融合,发展出更多的深度应用产品。