IP流量测量与分析：路线、方法、平台及应用(0)

IP流量测量与分析：路线、方法、平台及应用
GreeNet TechReport：2006[02]号
Author：Mc.woLF
Last Modified：2006-09-16

简介
流量监控包括测量分析和控制两层面的含义，是网络管理的底层基础设施。网络发展(带宽与应用)如此迅速，原有网络管理产品难于满足新的需求，运营级的网络管理工具存在新的机会与挑战。运营级应用产品发展方向可能是：流量监控à流量工程->QoS。
流量监控系统主要的研究内容有三块：(1)、流量测量与分析，(2)、控制及其策略，(3)、协议(应用)识别。流量分析是对监测的流量进行过滤、存储、聚合、分析、报表等操作，可以在Packet、Flow、或SNMP级别操作流量；控制则是根据分析的结果和目标需求，按照一定策略对网络实施宏观(网络)或微观(终端)的控制，这是面向非连接的IP网络相对传统电信网络的弱点；协议识别是流量分析和控制准确度的关键，因此作为一个单独的内容来分析。
网络流量测量与分析技术measurement是流量监控的重要部分，也是流量工程等的基础。measurement领域一个特点是涉及面广，名词繁多，解决方案、工具和参考项目也多(积累了很多经验)，本文主要从开发人员角度对相关原理、方法与工具进行综述，侧重于监听模式下的被动监测方式，作为产品研发时的参考。
为了提供网络监控的整体解决方案，我们构建一个GreeNet IP流量测量与分析平台，对各类应用，如P2P控制、VoIP控制和共享监测等提供基础架构支撑。

第一部分主要是一些背景知识。首先介绍网络的迅猛发展(带宽与应用)给网络管理带来挑战与机遇，网络管理步入性能管理阶段，流量监测技术是其基础；然后，着重分析流量监测的数据来源及流量类型，建立其模型，并讨论其中的几个关键因素；接下来，简单介绍流量管理的步骤和一般部署方式；最后列举IETF、RFC等相关标准。
第二部分讨论目前主流的基于Flow的流量测量与分析技术，Cisco提出的NetFlow是业界标准，本部分对其相关内容进行分析，并与sFlow对比。
第三部分对当前的各类工具进行综述，这些工具积累了很多技术，沉淀了很多经验，有很多可以直接组合采用，应充分发挥其价值。
第四部分描述GreeNet流量监测平台的基础架构，包括与前端系统的接口。
第五部分介绍基于GreeNet流量监测平台的案例，分析实际应用产品。
目  录
简介 1
一、流量监测基础 3
1.1 电信网络管理现状、问题与对策 3
1. 电信网络管理的现状 3
2. 存在的问题 4
3. 对策－新的网络流量管理系统 5
1.2 数据源及模型 5
1. 数据来源 5
2. NetScout的CDM模型 6
3. 另一种模型 7
1.3 流量类型及模型 7
1.4 网络流量管理 9
1. 网络流量管理的五个步骤DMAIC 9
2. 网络模拟 9
1.5 部署问题 10
1.6 相关标准 10
二、基于Flow的流量测量 11
2.1 Flow基本概念 11
2.2 流量测量与分析系统的几个关键因素 11
1. 在线计算 11
2. 采样技术 12
3. 应用层识别 12
4. 状态机制 12
5. 平台支持 12
2.3 NetFlow 12
1. 基本概念 12
2. NetFlow版本 13
3. NetFlow V5格式 13
4. NetFlow网络监测系统的基本架构 14
5. NetFlow性能问题 15
6. NetFlow方向问题 16
2.4 sFlow 16
三、流量监测参考工具 17
3.1 SNMP类工具 17
1. MRTG: 17
2. 基于rrdtool的SNMP工具 17
3. 传统网管软件[28] 18
3.2 开源类NetFlow 工具 18
1. flow-tools, FlowScan, CUFlow and rrdtool[3] 18
2. CAIDA 21
3. NTOP(含nProbe): 22
4. NFDUMP 22
5. SCAMPI 23
6. 其它工具：Ip flow、Aflow、SILK、ARGUS等 23
3.3 商用类NetFlow 工具 23
3.4 其它参考工具：LinuxFlow、sFlow及IPFIX/PSAMP 24
1．LinuxFlow项目 24
2．IPFIX/PSAMP项目 24
3．sFlow资源 25
3.5 NetFlow Exporter参考项目 25
3.6 使用cacti展示NetFlow数据 25
四、GreeNet流量监测平台 26
4.1 系统架构 26
4.2 与前端系统的接口 27
4.3 测试平台 28
4.4 应用优化 28
1. 流量处理的均衡与优化 28
2．流处理的经验 28
五、基于GreeNet流量监测平台设计NetRegulator 29
5.1产品背景 29
5.2基本功能 29
5.3工作原理 30
5.4系统结构与部署 33
1. 流量采集前端硬件平台OW-S系列 33
2. 流量分析系统GN-TA 34
3. 流量调整与控制器GN-TCR 34
4. 图表界面实例 34
参考资料 35
History 36