网络内容过滤技术发表评论(0)编辑词条

随着互联网的迅速普及，网络内容“垃圾”已经开始侵入人们的生活，像现在互联网上大量的不良信息，以及垃圾邮件、病毒邮件、泄密邮件和网络聊天等问题，已经逐渐侵袭到人们的灵魂。对互联网取其精华、去其糟粕，从而保护自己以及抵御力极差的青少年，一种新的技术——内容过滤因此孕育而生，引起人们的关注。采取适当的技术措施，对互联网不良信息进行过滤，既可阻止不良信息对人们的侵害，适应社会对意识形态方面的要求，同时，通过规范用户的上网行为，提高工作效率，合理利用网络资源，减少病毒对网络的侵害，这就是内容过滤技术的根本内涵。

网络

个人电脑内容过滤

每个人都或多或少有一些使用IE的经验，通过“工具Internet选项内容分级审查允许”开启这项功能。

内容分级审查是根据互联网内容分级联盟（ICRA）提供的内容分级标准，来允许或禁止访问某些不良的网站。内容分级审查功能本来可以让家长很好地控制孩子的上网，但是非常遗憾，并不是所有的网站都遵守ICRA规范，也就是说这个分级标准并不是放之四海皆准的，它从一开始就成了IE的摆设。

除了IE自带的内容过滤功能，市场上还有一些需要安装在上网电脑终端的内容过滤软件，常见的有SurfControlCyberPatrol、国内的蓝眼睛、过滤王等等。这些软件可以在一定程度上控制孩子访问色情、游戏等不良网站，比较适合家庭单机使用。

企业网络内容过滤

在每一个互联网访问的网络边缘（企业/学校网络边缘、网吧网络出口），都可以部署内容过滤工具。这些工具一般是分析网络数据流中包含的HTTP数据包，对数据包头中的IP地址、URL、文件名、HTTPmethods进行访问控制。

在网络边缘的内容过滤产品有两种表现方式：旁路式（Passby）和穿透式（Passthrough）。旁路式内容过滤产品是独立的，它监听网络上所有信息，并有选择的对基于TCP的连接（如HTTP/HTTPS/FTP/TELNET/POP3/SMTP等）进行阻断。旁路式过滤的原理基于TCP的连接性：跟踪所有TCP连接，阻断时以服务器身份向客户端发送HTTPFINPUSHACK，同时以客户端身份向服务器发送HTTPRST。一般情况下，旁路式内容过滤产品可以快速部署，对网络运行不存在影响和风险。穿透式内容过滤产品依赖于其他网络边缘处的基础平台，如MicrosoftISA、CiscoCacheEngine、BlueCoatProxySG、NetscreenFirewall等。穿透式内容过滤产品根据这些网络边缘接入基础平台的访问请求，作出允许或禁止的判断，然后由这些平台执行过滤的动作。

那么，内容过滤产品如何作出允许或禁止的判断呢？不同的厂商有着不同的解决方案。从理论上来讲，最理想的产品能够实时对网页内容进行分析，然后判断是否允许用户访问。例如，用户访问一个色情网站，内容过滤产品分析这个网站中页面的内容，发现其中包含了大量的色情词汇和图片信息，从而判断这是一个不良网站，需要进行过滤。这是一个理想的状态。但是，在具体的生产应用环境当中，实时分析网页内容并进行过滤是不现实的，这个问题主要体现在：对网页内容实时分析给用户浏览体验带来的延时是不可以接受的。对文字内容进行比较分析需要大量的计算资源，更不用说图片信息。试想一下每一个用户每点击一个链接都要等待数十秒钟，这还是比较好的情况。一般的企业网络内每秒钟都会有数个到数十个HTTP连接建立，这对实时的内容分析来说是不可完成的任务。

所以，绝大部分厂商采取了一个折衷的办法。他们事先对访问量较大、名气较大的网站和网页的内容做分类的工作，然后把URL、IP地址和内容分类对应起来，例如www.playboy.com属于成人网站，news.google.com属于新闻网站，www.google.com属于搜索引擎，sports.sina.com.cn属于体育网站。当用户访问这些网站上的页面时，内容过滤产品就可以根据事先的分类进行过滤，达到按内容过滤的目的。

因此，内容分类数据库的数量和质量是评价一个内容过滤产品的重要指标。有些厂商组建了专门的内容分析部门，他们专职监控每天新出现的网站，然后将这些网站分类更新到数据库当中。还有些厂商使用人工智能技术，自动进行分析。内容安全产品的市场爆炸证明，这种办法是可行的，也是经济的。

互联网骨干内容过滤

内容过滤除了在个人电脑和企业网络中的应用，在互联网骨干上也可以实现相同的功能。互联网骨干的主要任务是在保证可连通性的同时，尽可能快速地提供数据交换通道，这就要求网络结构和配置尽可能简单。属于网络高层应用的内容过滤本来不应该在互联网骨干上部署实施。但是，出于国家安全的需要，对一些网站还是需要进行屏蔽。电信运营商在互联网骨干上使用的内容过滤技术主要是DNS过滤和IP地址过滤：互联网骨干DNS服务器拒绝解析指定URL列表；通过ACL拒绝到指定IP地址的连接。这些手段轻微地影响互联网性能，但是技术和现实中也是可以实现和接受的。

另外，现在国内有些地区的宽带运营商还提供“绿色上网”服务，为申请此项服务的用户提供内容过滤的功能，以保护青少年和儿童。这些“绿色上网”服务的原理同以上的内容过滤原理是一样的，不同之处在于每个用户的可定制化功能。还有些运营商采取了“投诉”的方式来维护更新不良内容网址，通过奖励上网费用和时间的方式来鼓励宽带用户投诉不良网站。这也是一个很好的思路和现实的做法。

从这三种过滤手段来看，它们都受制于内容分类的效率和准确性。如何提高内容分类的效率和准确性，是各个厂商钻研的难题。

实际上，每个月都有超过100万个新注册的网站出现在互联网上，也就是说互联网是变化的，这种变化是永不停息的。最好的办法还是挑选一部分网站放在数据库当中，这些网站至少具有两个特征：1、访问量比较大；2、包含不良内容。对于那些访问量不大，或者内容“不咸不淡”的网站，大可以忽略不计。

每个企业或者每个人的浏览习惯都是不一样的，也可能有些人特别喜欢浏览一些冷门的网站，这就涉及一个个性化的问题。为了对这些访问进行控制和过滤，内容过滤产品本身还要具有一定的智能，能够自动分析归类这些网站的内容，并对用户的访问进行过滤。这样的分析结果应该保留在访问者的本地内容过滤设备上，而不是上传同步到所有的用户。这样的话，所有用户就有一个集中的公共数据库，包含了绝大部分热门网站；每个用户还有一个分散的私人数据库，包含了自己的浏览分析归类数据。

大家都知道，互联网内容带来的负面问题，一般分为两个方面：一是娱乐性内容对人们时间的浪费；一是不良信息对人们灵魂的危害。

对于前者，互联网上无数的娱乐性内容正在吞噬人们的宝贵时间，这些与工作无关的活动包括在线游戏、网上购物、股票交易、网上电台、流媒体和MP3下载等，它们对网上用户来说是全新的诱惑。据美国Websense公司最新公布的一份调查结果显示，四分之一的美国员工每个星期至少会花费超过一个工作日的时间上网浏览与工作无关内容。此外，美国管理协会做的一项调查还表明，企业员工全部上网活动中，50%以上都是与工作无关的，这意味着这些员工每个月拿到的薪水当中一部分与他们的工作无关。为此美国一年将付出几十亿美元的代价。另外，专门研究上网成瘾症状的专家表示，25%到50%的上网成瘾的人都是在办公室里上网的，如果企业对员工在上班时间上网的情况不闻不问，而且也不对某些不良网站进行禁止，那么很有可能会引发一系列严重的后果。

如果这在根本上还不是绝对有害的话。后者就不同了，据有关机构调查显示，有34.6%的青少年网民承认自己曾经浏览过色情网站，有4.9%的人承认“经常”去看。很多青少年因此而荒废学业，成为“网络海洛因”的吸食者。

采取适当的技术措施，对互联网不良信息进行过滤，既可阻止不良信息对人们的侵害，适应社会对意识形态方面的要求，同时，通过规范用户的上网行为，提高工作效率，合理利用网络资源，减少病毒对网络的侵害，这就是内容过滤技术的根本内涵。

一般来说，内容过滤技术包括名单过滤技术、关键词过滤技术、图像过滤技术、模板过滤技术和智能过滤技术等，如果再细致分析，现阶段的内容过滤技术主要分为基于网关和基于代理两种。

首先，基于网关的内容过滤，一般嵌入专门的安全网关或者防火墙等网关设备中，此种网络设备一般通过静态和动态内容过滤来进行。所谓静态过滤，就是可自定义可信站点和禁止站点。比如，静态过滤可以阻塞对“交友社区”的访问，以拒绝访问“交友社区”的网站内容。动态过滤也很重要，因为Internet和Web都不是静态的。相反，新的网页正以每年数以亿计的速度添加到Web，每分钟都有新的站点和页面出现。此外，Web页也不是一个单一的实体，而是由众多独立的组件组成，每个组件都有它们自己的URL，浏览器可以单独和独立地获取它们。其中每个组件都可以通过其URL直接访问，因此也可能是过滤对象。动态内容过滤可以通过设定URL中的关键词来过滤含此关键词的站点以确定用户是否应获取某一请求的URL，即便该URL没有明确定义。比如，动态过滤可以拒绝访问URL中有“Porn”字样的所有站点。理想的防火墙不仅应支持静态内容过滤，还应能让用户选择一个可以自行决定阻塞的广泛类别列表，如拍卖、聊天、就业搜索、游戏、仇恨/歧视、历史、玩笑、新闻、股票、泳衣，等等。这种功能可使办公室管理员和父母允许或阻塞对任何站点类别的访问。而且，由于Internet始终都在变化，因此应当定期用被归入站点类型的新URL更新类别列表。

其次，基于代理的内容过滤。主要以专用的硬件代理上网设备实现，一般是将设备配置成代理缓存服务器，并部署在企业用户和Internet之间，这些优化的专用设备就能够智能地管理用户的内容请求。当用户请求一个URL时，请求首先到达设备相应端口安全专用设备进行认证和授权。如果请求的页面中的对象已经在该专用设备的本地缓存中，它们就从本地直接访问给用户，如果不在本地缓存中，安全专用设备就作为用户的代理，通过Internet和源服务器通信。当对象从源服务器返回时，就保存在本地缓存中以为后续的访问请求服务，同时传送一个拷贝给访问的用户。整个过程被全程监控，并作记录，供访问报告统计和为企业计划提供依据。

发展到现在，尽管基于代理和网关的两大内容过滤系列技术，包括名单过滤技术、关键词过滤技术、图像过滤技术、模板过滤技术和智能过滤技术等，已经比较成熟，而且，产品主要包括单机版（家庭版）、网吧版、企业版、校园版、酒店版、ISP版、电信版等，基本涵盖了各个领域，但是值得一提的还是，内容过滤技术还处于初级阶段，实用的技术相对比较单一，主要表现在名单过滤和关键词过滤技术基本成熟，而图像过滤与模板过滤技术还处于起步阶段，面临着图片的智能识别和过滤对机器或网络性能存在负面影响的障碍。现阶段的内容过滤技术主要是对URL网址过滤和网页文字等固定内容过滤，还无法做到智能的判断，这是内容过滤技术在现阶段的状况。

现在的内容过滤产品使用黑名单、关键词和简单模板相结合的判断方式对不良内容进行过滤，但由于互联网上的内容变化迅速，这就要求名单和模板能够及时地更新，因此产品技术先进性的一个非常重要的指标就是生产商提供的黑名单库大小和过滤的有效比率。

专家也认为，目前过滤技术大多在网络处理的应用层实现，适应性和安全性较差。基于网络层的实现，最大的挑战有两个方面：首先，应用层分析技术必须全面，因为直接对网络包进行应用层分析，需要充分了解需要过滤的所有应用在网络层是如何实现的，有多少种状态，是否有特殊的实现等；其次，是实现兼容性，为实现与操作系统网络底层处理融合，需要充分了解操作系统网络实现机制，甚至替代部分功能，如何不影响操作系统的原有功能是相当困难的，特别是在Windows环境缺乏底层资料的情况下。

然而，尽管内容过滤技术和产品面临一些困难和瓶颈，但是，随着网络的发展，人们基于保护自身的需要而对“绿色网络空间”的呼唤，已经极大促进了“内容安全”产业的发展，据统计，美国内容过滤软件整个市场每年的营业额达数十亿美元。