用NTOP精确监控网络

假如说让网络治理员最头疼的问题，恐怕大家都会回答是网络带宽匮乏了，实际情况确实如此，随着网络应用与网络软件的越来越多，占用带宽资源的服务也越来越多。我们究竟应该怎么治理网络成为一个非常严厉的问题。BT，P2P等软件吞噬着网络带宽，蠕虫等网络病毒也使网络应用变得枯竭。从某种意义上讲带宽就是钱，那么我们这些网络治理员如何有效的从监视到控制公司的网络流量呢？笔者为各位读者介绍一个不可多得的监控网络流量的工具:NTOP。
 
一 .为什么需要对流量监控？

    假如作为一名普通网络用户，在浩瀚的互联网畅游之时，没有人会注重到平静的海面下其实暗流汹涌。一般来说，网络治理者所需要了解的是各个网段的使用情形，频宽的使用率，网络问题的瓶颈发生于何处。当网络问题发生时，必须能够很快地区隔出问题的发生原因，迅速定位到线路问题、网络设备问题、或者是路由和放火墙的设定问题。在一个稍微较小的网络中，一个有经验的治理者要回答这些问题并不难，但是假如其所治理的网络范围过于庞大，那么就可能需要一个有效率的网管系统了。在业务繁忙的工作网络中，网络忽然缓慢，在重要数据往来的工作时间段，留给系统治理员的响应时间只有宝贵的十几分钟、甚至几分钟。假如你不能回答网络为什么缓慢？必须在经过科学合理的计算和统计，并且在预先建立的流量分析系统中才能找到答案。
 
    P2P（Peer-to-Peer）是一种用于文件交换的新技术，通过Internet答应建立分散的、动态的、匿名的逻辑网络。P2P为对等连接或对等网络，点对点网络技术，可应用于文件共享交换，深度搜索、分布计算等领域。它答应个体的PC通过Internet共享文件。随着P2P文件交换应用的普及，ISP在维持和增加宽带网的收益上也面临着新的挑战和机遇。据有关资料统计，现有的网络中有超过70%的带宽被P2P通信占据着。P2P通信会导致异常的流量峰值，对网络资源造成意外的变形；所带来的网络拥塞、性能下降等问题，已影响到正常的网络应用，如WWW、Email等，缓慢的网页浏览和收发邮件速度更引起普通用户的不满。
 
    若想控制P2P通信，就必须对P2P通信进行有效地识别，然而，许多P2P通信使用了不同的通信技术和协议，使用传统的技术来识别它们非常困难。 比如，许多P2P协议不使用固定的端口，而是动态地使用端口，包括使用一些知名服务的端口。KaZaA就是可以使用端口80（通常是http/web来使用）来通信的，从而穿透传统的基于ip和端口的防火墙和包过滤器。所以，通过简单的基于IP和端口的分类技术（分析IP包头、IP地址、端口号等）很难识别、跟踪或控制这类通信。

    过去有一段时间，有人使用监测6881~6889端口来识别BT（BitTorrent），但这种做法现在早已失效——BT已不再使用固定的6881~6889端口来通信，而是动态地使用端口。随着P2P应用的不断增长，更多的通信协议被使用；识别和分类P2P的技术必须快速、简单，以适应这种技术的变化。现在，识别P2P通信的方法是在应用层分析数据包，看是否有某个应用协议的特征码，然后确定通信的种类。应用层分析数据包的基本方法是，假如应用层数据包的头部有“220 FTP server ready”的特征串，可以确定是在使用ftp程序；假如有“HTTP/1.1 200 ok”的特征串，可以确定是在使用http传送数据。

   谈到网络流量监控，相信大家都熟悉MRTG这个工具。但是MRTG存在许多缺点：

    1.  使用文本式的数据库，数据不能重复使用；
    2.  只能按日、周、月、年来查看数据；
    3.  只能画两个DS（一条线、一个块）；
    4.  无治理功能；
    5.  没有具体日志系统；
    6.  无法具体了解一一流量具体构成；
    7.  只能用于TCP/IP网络对于 SAN 和iSCSI网络流量无能为力;
    8.  不能在命令行下工作；
    9.  过于依靠SNMP协议。

    MRTG基于SNMP协议获取信息，对于端口的流量，MRTG能提供精确统计，但对于3层以上的信息则无从得知了。而这正是NTOP的强项。NTOP能够更加直观的将网络使用量的情况和每个节点计算机的网络带宽使用具体情况显示出来。ntop是一种网络嗅探器，嗅探器在协助监测网络数据传输、排除网络故障等方面有着不可替代的作用。可以通过分析网络流量来确定网络上存在的各种问题，如瓶颈效应或性能下降；也可以用来判定是否有黑客正在攻击网络系统。假如怀疑网络正在遭受攻击，通过嗅探器截获的数据包可以确定正在攻击系统的是什么类型的数据包，以及它们的源头，从而可以及时地做出响应，或者对网络进行相应的调整，以保证网络运行的效率和安全。

    通过ntop网管员还可以很方便地确定出哪些通信量属于某个特定的网络协议、占主要通信量的是那个主机、各次通讯的目标是哪个主机、数据包发送时间、各主机间数据包传递的间隔时间等。这些信息为网管员判定网络问题及优化网络性能，提供了十分宝贵的信息。ntop提供以下一些功能：

    1. 自动从网络中识别有用的信息；
    2. 将截获的数据包转换成易于识别的格式；
    3. 对网络环境中的通讯失败进行分析；
    4. 探测网络环境下的通讯瓶颈；
    5. 记录网络通信时间和过程；
    6.自动识别客户端正在使用的操作系统；
    7.可以在命令行和Web两种方式运行。

    连接性 也称可用性、连通性或者可达性，严格说应该是网络的基本能力或属性。Internet的出现以及采用新技术而带来的生产力提高，导致对更高带宽和服务的需求。企业需要更高带宽的定制服务；而消费者则需要像宽带连接和视频点播等服务；运营商必须在他们的目标市场需求与他们业务的现实之间取得平衡；这些都必须以网络的连接性能为基础和保障。

    时延 定义了一个IP包穿越一个或多个网段所经历的时间。时延由固定时延和可变时延两部分组成。固定时延基本不变，由传播时延和传输时延构成；可变时延由中间路由器处理时延和排队等待时延两部分构成。

    丢包率 是指丢失的IP包与所有的IP包的比值。许多因素会导致数据包在网络上传输时被丢弃，例如数据包的大小以及数据发送时链路的拥塞状况等。不同业务对丢包的敏感性不同，在多媒体业务中，丢包是导致图像质量降低和断帧的根本原因。

    带宽 一般分为瓶颈带宽和可用带宽。瓶颈带宽是指当一条路径（通路）中没有其它背景流量时，网络能够提供的最大的吞吐量。可用带宽是指在网络路径（通路）存在背景流量的情况下，能够提供给某个业务的最大吞吐量。在复杂的网络系统上面，不同的应用占用不同的带宽，重要的应用是否得到了最佳的带宽？它占的比例是多少？队列设置和网络优化是否生效？通过例如MRTG等网络流量分析会使其更加明确，并以图形Html文档方式显示给用户，以非常直观的形式显示流量负载。
主动分析避免异常流量

    面对异常流量，我们应当建立一套分析系统，支持异常流量发现和报警，能够通过对一个时间段内历史数据的自动学习，获取包括总体网络流量水平、流量波动、流量跳变等在内的多种网络流量测度，并自动建立当前流量的置信度区间作为流量异常监测的基础。

    假如自行建立主动型的网络分析系统一般包括：测量节点、中心服务器、数据库和分析服务器。但对于中小企业来说难度较大。主动分析是借助产品化和集成程度较高的测量工具，有目的对生产网络注入监控点，并根据测量数据流的传送情况来分析网络的性能。虽然这些监控点也会占用带宽，但和P2P下载所占用的可用带宽相比是微不足道的。 排除病毒和封锁P2P之后，一般带宽占用前两名的应用是基于网站页面的在线音频与在线视频。为了节约带宽，我们应该在工作时间段对其进行限制和封锁。

    ntop和MRTG相比相比它的安装配置比较简单，可以不使用Web服务器。目前市场上可网管型的交换机、路由器都支持SNMP协议，Ntop支持简单网络治理协议所以可以进行网络流量监控。ntop几乎可以监测网络上的所有协议: TCP/UDP/ICMP、(R)ARP、IPX、Telnet、DLC、Decnet、DHCP－BOOTP、AppleTalk、Netbios、TCP/UDP、FTP、HTTP、DNS、Telnet、SMTP/POP/IMAP、SNMP、NNTP、NFS、X11、SSH和基于P2P技术的协议eDonkey, Overnet, Bittorrent, Gnutella (Bearshare, Limewire,etc), (Kazaa, Imesh, Grobster)。

    NTOP在http://www.ntop.org　 可以下载最新版本安装使用。作者是LUCa Deri。NTOP可以安装在所有计算机(linux/Unix/BSD/Windows)上，这里根据各服务器自身应用的特点，定制规则，并将收集到的信息、告警等传至网管员控制台的NTOP控制中心。运行软件需要winpcap库支持。winpcap 是 Windows 平台下的网络数据包捕捉函数包，大多数网络监控软件都以它为基础。Libpcap 提供了系统独立的用户级别网络数据包捕捉接口，并充分考虑到应用程序的可移植性。Libpcap 可以在绝大多数类 unix 平台下工作，Libpcap 软件包可从 http://www.tcpdump.org/ 下载。Windows客户端安装WinPcap( http://www.winpcap.org/ )它是网络数据包截取驱动程序，能够分析在线播放的流媒体直接下载地址信息类似与libpcap的包，支持Windows平台。网络拓朴见图1，核心交换机是SmartBits 6000C。其L3+模块的NetStream功能兼容Cisco的NetFlow V5/V8格式，能够提供对业务流量数据的精确统计。使用基于Windows平台的ntop作为收集和分析NetStream数据的工具。
  图－1 网络拓扑NTOP安装位置   
    软件下载(下载联结：http://luca.ntop.org/ntop-3.2-demo.exe )和安装和普通软件没有区别。这里就不赘述了，NTOP是以服务形式运行。打开Windows 3000、3001端口。Windows 2003 打开3000端口的方法：在“网上邻居”*“属性”*“本地连接”*“属性”*“Internet协议(TCP/IP)”*“属性”*“高级”*“选项”*“TCP/IP 筛选”*“属性”*“打开TCP/IP 筛选”，添加需要的TCP协议（3000、3001，见图2 。
 
图2 开启3000端口 
    这时你可以打开浏览器输入:http://IP:3000即可打开治理界面。

SAN（Storage Area Network的缩写）意为存储区域网络，是真正的专注于企业级的存储。SAN采用一个分离的网络（从传统的局域网中分离）连接所有的存储器和服务器，这个网络可以采用高性能的实现技术，如光纤通道（Fiber Channel），可以容纳SCSI等协议，使数据块的移动更为有效，也便于用户自由增加磁盘阵列、磁带库或服务器等设备。现在的SAN基本都是通过Fibre Channel来实现的，Fibre Channel，简称FIBRE CHANNEL，又称光纤通道，是利用专用设备进行数据高速传输的一种网络标准，主要用于连接服务器的干线（backbones），并把服务器连接到存储设备上。NTOP最新版本比MRTG的最大优势是可以监控SAN和SCSI设备，作界面见图6。
 

 
图6 使用ntop监控SAN网络

 
    （5）NTOP的插件。NTOP还提供的四个插件：

    ICMPWATCH：用于端口检测很多人都已经知道了可以借助NETSTAT -AN来查看当前的连接与开放的端口，但NETSTAT并不万能，比如你的Win2000遭到OOB攻击的时候，不等NETSTAT你就已经死机了。为此，出现了一种非凡的小工具——端口监听程序。端口监听并不是一项复杂的技术，但却能解决一些局部问题。

    NetFlow：近年来，很多服务提供商一直使用NetFlow。因为NetFlow在大型广域网环境里具有伸缩能力，可以帮助支持对等点上的最佳传输流，同时可以用来进行建立在单项服务基础之上的基础设施最优化评估，解决服务和安全问题方面所表现出来的价值，为服务计费提供基础。NetFlow是一种数据交换方式，其工作原理是：NetFlow利用标准的交换模式处理数据流的第一个IP包数据，生成NetFlow 缓存，随后同样的数据基于缓存信息在同一个数据流中进行传输，不再匹配相关的访问控制等策略，NetFlow缓存同时包含了随后数据流的统计信息。但是，NetFlow也不是万能的，比如它无法提供给用反应时间。

    rrdPlugin：用于生成流量图。RRD的作者，也是MRTG的作者，RRD可以简单的说是MRTG的升级版，它比MRTG更灵活，更适合用shell、perl等程序来调用，成生所要的图片。

    sFlow：sFlow（RFC 3176）是基于标准的最新网络导出协议，能够解决当前网络治理人员面临的很多问题。sFlow已经成为一项线速运行的“永远在线”技术，可以将sFlow技术嵌入到网络路由器和交换机ASIC芯片中。与使用镜像端口、探针和旁路监测技术的传统网络监视解决方案相比，sFlow能够明显地降低实施费用，同时可以使面向每一个端口的全企业网络监视解决方案成为可能。与数据包采样技术（如RMON）不同，sFlow是一种导出格式，它增加了关于被监视数据包的更多信息，并使用嵌入到网络设备中的sFlow代理转发被采样数据包，因此在功能和性能上都超越了当前使用的RMON、RMON II和NetFlow技术。sFlow技术独特之处在于它能够在整个网络中，以连续实时的方式监视每一个端口，但不需要镜像监视端口，对整个网络性能的影响也非常小。
   
    NTOP插件工作界面见图7。
  
图 7 NTOP提供的插件