返回首页
当前位置: 主页 > 教育技术学 > 应用研究 >

校园网流量多维度行为分析及优化

时间:2018-04-16 22:22来源:知行网www.zhixing123.cn 编辑:麦田守望者

本文针对特定校园网环境,从协议流量特征、时间、区域、接入和链路等多个维度对流量进行分析,尝试发掘影响校园网出口流量性能的因素。文章虽未提出更具创造性的流量测量与分析方法,但对校园网流量和用户行为进行了比较详细的分析和推理,这些方法和结果在国内高校校园网中具有一定的普遍性和代表性,对校园网性能管理具有良好的借鉴和示范作用,应用价值较高。

  引言

  随着手机、平板电脑等智能终端的硬件处理能力不断提高,用户越来越不满足于只浏览静态的文字及图片页面,而倾向于在移动终端观看视频等移动流媒体应用。在线视频网站、云存储、P2P等高带宽需求的网络应用,使校园网出口流量迅速增长,出口带宽拥塞的压力不断增大。同时,802.11ac和5G的广泛应用使无线网络的性能大幅提升,随着有线无线一

  体化部署在校园网中不断推进【1】,用户大规模从有线迁移到无线,其流量行为方式随之转变,出口流量的行为展现出与以往不同的特征。

  针对变化中的校园网流量环境,本文根据2015.9-2016.6北京大学校园网出口流量数据,分析了校园网入带宽占比最高的几种网络协议:HTTP Streaming、HTTP Download Manager、P2P的流量特征,然后从时间、区域、接入、链路多个维度对校园网出口流量进行了深入的

  分析和对比,流量特征的分析结果显示,校园网出口流量中HTTP Streaming流量占比最高且引言

  随着手机、平板电脑等智能终端的硬件处理能力不断提高,用户越来越不满足于只浏览静态的文字及图片页面,而倾向于在移动终端观看视频等移动流媒体应用。在线视频网站、云存储、P2P等高带宽需求的网络应用,使校园网出口流量迅速增长,出口带宽拥塞的压力不断增大。同时,802.11ac和5G的广泛应用使无线网络的性能大幅提升,随着有线无线一

  体化部署在校园网中不断推进【1】,用户大规模从有线迁移到无线,其流量行为方式随之转变,出口流量的行为展现出与以往不同的特征。

  针对变化中的校园网流量环境,本文根据2015.9-2016.6北京大学校园网出口流量数据,分析了校园网入带宽占比最高的几种网络协议:HTTP Streaming、HTTP Download Manager、P2P的流量特征,然后从时间、区域、接入、链路多个维度对校园网出口流量进行了深入的

  分析和对比,流量特征的分析结果显示,校园网出口流量中HTTP Streaming流量占比最高且增长迅速,用户使用校园网带宽资源的分布呈现极不均衡的幂律分布特征,不同区域、不同接入方式、不同ISP链路对流媒体、HTTP文件下载、P2P等网络应用协议的偏好度不同,这些特征为校园网管理和出口流量策略的制定提供了重要的参考依据。最后,针对以上流量行为特征提出了更细粒度的流量优化策略,以改善校园网网络性能,提高关键网络应用的QoS。

  1 校园网高带宽占用比网络协议的流量特征

  根据2016.5.14-2016.6.14校园网出口流量日平均值数据的分析结果,目前流量占校园网

  入带宽前5位的网络协议如表1所示,HTTP Streaming、HTTP Download Manager和Thunder协议是构成校园网入流量的主要协议,分别占比19.9%、7.4%和5.6%(Thunder协议已经进行了限速)。

  我们在校园网中分别进行观看在线视频、从百度云盘下载文件、使用迅雷下载文件的测试,以此观察几种高带宽占用协议的流量特征。

  1.1 在线视频应用的流量特征

  在线视频网站多采用HTTP Streaming协议传输音视频,数据存储在Web服务器上并分割为很多小片段,片段解码彼此独立无关联,之间的联系由媒体资源索引文件给出【2】。客户端先获得媒体资源索引文件,再根据索引文件下载相应片段。HTTP Streaming一个显著的特点是自适应传输,服务器中存储着同一媒体内容的多个比特率版本,当网络带宽变差或抖动较高时,客户端可以请求同一视频片段带宽要求较低的比特率版本,以保持观看的连续性【2】。

  图1为在校园网中同一台主机观看三种流行度比较高的在线视频网站bilibili、土豆、爱奇艺的流量波形对比,采样时间为20分钟,采样间隔为30秒。可见HTTP Streaming下载的峰值速率比较高,呈现离散的脉冲波形,这种波形对周围网络环境会造成一定的冲击。在视频开始的初始阶段,流量迅速达到峰值,流量上冲使应用能缓存足够的视频数据以免网络出现延迟和抖动。随后流量又迅速下降并持续为0一段时间,这说明视频应用在播放当前缓存片段时,没有产生任何流量。当缓存片段播放即将完毕时,流量再次达到峰值开始下一个片段的下载和缓存。当进行拖拽浏览操作时,如果进入到未缓存的片段,也会触发流量从0迅速攀升至峰值,以进行新片段的下载。从流量图来看,HTTP Streaming是非对称协议,下载速率约为上传的23-26倍。

  不同在线视频网站呈现的流量特征略有不同,土豆和bilibi的波形更为离散,下载片段时的峰值流量更高,峰值之间的平静期更长,而爱奇艺峰值流量相对较低,几乎不存在峰值之间的平静期,流量波形更接近于锯齿形。

  当在视频播放中间切换清晰度时,流量脉冲的峰值出现成倍的波动,以土豆视频为例,见图1(d),并且峰值之间的平静期随着清晰度的提升缩短。因此当用户不断选择更高的视频清晰度时,HTTP Streaming占用的带宽会不断上升。另外,使用手机通过无线网进行移动流媒体测试,其展现的流量特征与有线网观看流媒体相似。

  1.2 HTTP Download Manager流量特征

  校园网中,入流量占比第二位的是用于文件下载的HTTP Download Manager 协议,比较典型的应用是百度云盘。图2为百度云盘使用HTTP Download Manager先上传再下载同一文件测试的流量波形,其流量特征为下载开始时流量迅速攀升到峰值并随后保持稳定的下载速率直到文件下载结束。

  HTTP Download Manger的流量是对称的,既有上传也有下载,且上下行的速率都很高【3】。测试时上传峰值速率约74Mbps,下载速率峰值约4Mbps,下载速率约为上传的18倍。

  1.3 P2P协议的流量特征

  P2P(Peer to Peer)是一种分布式网络,每一个Peer既是服务的使用者,也是服务的提供者。资源的所有权和控制权分散到网络的每一个节点中。服务的使用者和提供者直接进行通信【4】。以迅雷下载为例,在下载的初始阶段,并发连接数迅速达到峰值,随后迅速下降并逐渐稳定,这是因为下载初始建立的大量并发连接中有一部分没有得到响应,还有一部分不是有效连接,传输资源数据的有效连接只占其中一小部分【5】。下载流量逐步增长,直到文件下载结束时,下载流量达到峰值,而上传流量在文件下载结束后继续增长,直到关闭迅雷软件,如图3所示。P2P是一种对称流量,在下载数据的同时,使用相当的带宽上传数据,并且使用向多个IP并发多个连接的方法不断扩展带宽【4】。

  因此,如果不对P2P流量进行限制,会不断侵占校园网出口带宽,导致校园网出口的持续拥塞,各种对实时性要求较高的服务例如VoIP、HTTP Streaming也因此会受到影响。

 2 时间维度总体流量趋势分析

  随着校园网接入层一体化部署的实施,大批校园网用户从有线网切换到无线网,同时,手机等移动终端用户的比例不断提高,校园网出口的流量协议分布发生了明显的改变。入带宽占比前5的协议从2015.9到2016.5的变化见表2所示,其中HTTP Streaming协议增幅最大,增长了1.8%。

  入带宽占比前四位的协议在2016.6.1当日的时间分布规律如图4所示。四种协议的时间流量特征完全不同,HTTP Streaming协议的流量曲线较为平稳,峰值时间为22:00-24:00,HTTP Download Manager则在10:00、14:00、24:00出现较为明显的波峰,由于对Thunder协议在9:00-24:00时段进行了限速,因此Thunder的流量峰值出现在24:00之后,HTTP browsing的峰值时段为9:00-16:00,与校内师生白天的工作时段吻合。

  我们对2016.6.17下午18:14分至18:19分校园网用户的入带宽资源使用情况进行了观测,并对5分钟内的带宽使用数据进行了分析,发现校园网用户入带宽资源使用统计分布律符合幂律分布,这种分布的共性是绝大多数事件的规模很小, 而只有少数事件的规模相当大【6】。

  对上式两边取对数, 可知lny 与lnx 满足线性关系

 

  在本实例中,x为用户入带宽流量排名,y为用户入流量占总带宽的百分比,y呈幂指数单调递减函数,随x的增加快速衰减。在双对数坐标下, 幂律分布表现为一条斜率为幂指数的负数的直线, 这一线性关系是判断随机变量是否满足幂律的依据【6】,而校园网用户入流量排名数据符合这一分布,其幂指数r为0.81,见图5(a)(b):

  其分布函数为:

  如图5(c)所示,可见校园网用户使用带宽资源的情况非常不均衡,1%用量最多的用户使用了校园网入流量的54%,4%的用户使用80%的流量,10%的用户使用了94.9%的流量,20%的用户几乎使用了校园网的全部入流量。这种流量分布与校园网采用包月计时的资费政策有关,因此需要更为公平合理的带宽分配机制,减少带宽分配不均衡的情况。

  3 区域维度流量行为分析

  根据地域划分,校园网可以区分成教学、办公、公共、宿舍四大区域。我们对2016.6.16日不同区域的流量进行了观测,其流量时间特征见图6所示,其中,公共区域无线流量的峰值波动最为剧烈,而宿舍区无线流量则相对平稳,可能与公共区域人群的短时间聚集或离开有关。因此,根据不同区域流量的时间特征,需要制定差异化的流量时间控制策略。

  不同区域当日有线、无线主要网络协议入带宽百分比分布如图7所示,图中横轴为网络协议,纵轴为协议占各区域入带宽的百分比。显示了不同区域有线、无线用户对各种网络协议的偏好度。

  图7 不同区域有线、无线主要网络协议入带宽百分比分布

  从区域无线维度来看,对流媒体视频和迅雷下载偏好度最高的是宿舍区用户,最低的是教学区用户。文件下载和移动流媒体偏好度最高的是公共区域用户。Baiduweb从某种程度上可以反映用户对百度云盘使用的偏好度,偏好度最高的是教学区用户。HTTP Browsing偏好度最高的是办公区用户。几种常见的在线视频应用中,办公区用户对腾讯视频的偏好度最高,公共区域、教学区用户偏好度较高的是优酷视频,宿舍区的用户偏好度则比较均衡。

  4 接入维度流量行为分析

  校园网同一区域的有线和无线用户因接入方式不同,其流量特征有较大差别。从时间分布来看,宿舍区的有线和无线流量时间分布特征基本一致,而办公区18:00-8:00之间的流量无线比有线下降的幅度和趋势更为明显,见图6(b)(c)(e)(f)所示。

  从用户协议偏好度来看,同一区域无线用户对流媒体、文件下载和HTTP Browsing的偏好度高于有线用户。使用迅雷下载方面,宿舍区的有线用户比无线用户偏好度高,办公区则完全相反。在线视频应用方面,办公区无线用户偏好腾讯视频,有线用户偏好迅雷看看,而在宿舍区,无线用户偏好度比较均衡,有线用户偏好迅雷看看。因此,随着校园网有线无线一体化部署的实施,无线用户的比例不断增加,流媒体、文件下载等高带宽需求应用对带宽的占用比会进一步提高。

  5 链路维度流量行为分析

  北京大学校园网出口为多ISP出口链路,有到教育网、联通、电信、电信通的出口带宽,出口防火墙采用策略路由根据AS号和地址集区分到不同ISP链路的流量。从链路维度对出口流量进行分析得到的协议行为特征见图8,纵轴为协议占各ISP入带宽的百分比。

  图8 不同链路主要网络协议入带宽百分比分布

  除了HTTP Streaming和HTTP Download Manager、迅雷是4条链路偏好度都比较高的协议之外,链路的协议分布呈现出较大的差异性:教育网链路偏好度较高的是文件传输类与HTTPS协议,联通链路BITS与直播和游戏类协议占比较高,电信链路中加密、游戏和P2P下载占比较高,电信通链路中视频流媒体和P2P下载占比较高。因此对出口各条链路,特别是拥堵链路,需要根据其不同的流量协议分布特征,制定差异化的流量优化策略。

  6 校园网出口流量优化策略

  目前在校园网出口主要执行的是以协议特征识别为主,以IP为单位的粗粒度流控策略,由于出口带宽的局限性,即使对P2P协议进行严格的限速,部分ISP链路仍有持续拥塞的问题。根据对校园网出口流量多维度行为分析的结果,流控策略可以从更细粒度的维度进行优化。主要优化策略如下:

  (1). 根据校园网用户入带宽资源使用统计分布呈幂律分布的特征,需要制定更公平合理的单IP带宽分配机制,使流量分布趋于均衡。

  (2). 协议方面:HTTP Streaming是目前校园网中入流量占比最大且增长速度最快的协议,针对HTTP Streaming的流量优化需要在流媒体下载速率与用户播放体验QOE之间取得平衡,可以根据实测体验,适当限制HTTP Streaming的峰值流量,提高其带宽利用率,同时削弱瞬时脉冲样流量对网络的冲击和影响。保障VOIP、视频直播等对延迟和抖动敏感的应用,根据时间特征限制P2P流量,对其他高带宽占用比流量如HTTP Download Manager等根据时间和区域特征进行差异化优先级设定,根据优先级分配带宽。

  (3). 时间维度:对带宽占比较大的下载类协议根据其时间分布特征执行差异化的时间控制策略,对网页浏览等办公属性的流量保障白天时段的带宽,适当限制流媒体等娱乐性流量白天时段的带宽占用比,在夜间则不做限制。

  (4). 区域维度:对不同区域根据其协议偏好度,制定区域差异化的流控策略,比如严格的限制教学区、办公区白天时段的P2P、流媒体,保障视频会议、HTTP Browsing和文件传输类应用的带宽,而在宿舍区和公共区域则放宽相关限制。

  (5). 链路维度:根据不同ISP链路的带宽利用情况,对不同链路相同协议类型执行不同的限速策略,在拥塞线路针对某些高带宽占用协议如P2P、HTTP Download Manager协议采用比其他链路更严格的流控策略。

  (6). 对校园网的重要服务如SMTP、DNS和VPN等提供带宽保障。

  (7). 随着手持设备无线用户的增多,其内容访问相似度增加【7】,因此在校内需要加大Cache缓存服务的部署力度,对流媒体和下载这两种带宽占用比最高的协议提供缓存,可以大大缓解出口的拥塞。另外,在拥塞的ISP线路上对Cache服务器提供带宽保障,进一步提高Cache服务的性能。

  7 结束语

  随着校园网有线无线一体化的部署,无线用户的比例不断提高,用户对流媒体、文件下载等高带宽应用的需求不断增长,校园网流量的特征随之发生变化。本文分析了校园网中高带宽占用比协议的流量特征,从时间、区域、接入、链路多个维度对校园网总体流量进行了深入了分析和对比,并根据流量特征的分析结果,提出了更细粒度的流量优化策略,以缓解校园网出口拥塞,对今后的校园网管理和提高关键应用的QoS有重要的意义。

  参考文献

  [1]:付中南,尚群,公绪晓.校园网接入层一体化的规划与实践[J].通信学报,35(Z1):91-97

  [2]:陈达伟.一种面向用户体验提升的HTTP Streaming播放优化技术[D].北京:北京邮电大学计算机学院,2014年.

  [3]Brice Augustin and Abdelhamid Mellouk. On traffic Patterns of HTTP Applications[c]// Global Telecommunications Conference. GLOBECOM 2011, 2011:1-6.

  [4]:曹香港.P2P应用流量的识别与控制研究[D].北京:北京交通大学计算机与信息技术学院,2010年.

  [5]:逯尧.基于行为特征的私有P2P流量的识别和分析[D].北京:北京邮电大学信息与通信工程学院,2014年.

  [6]:胡海波,王林.幂律分布研究简史[J].物理,2015,34(12):889-896.

  [7]:Aaron Gember, Ashok Anand and Aditya Akella. A Comparative Study of Handheld and Non-handheld Traffic in Campus Wi-Fi Networks [C]//Passive and Active Measurement.PAM2011:N.Spring and G.Riley(Eds.),2011:173-183.

  作者单位:北京大学计算中心

------分隔线----------------------------
标签(Tag):流量多维度行为分析
------分隔线----------------------------
推荐内容
猜你感兴趣