反垃圾邮件技术分析

出处：IT.COM.CN 作者：IT.COM.CN 时间：2006-5-29 13:26:00

反垃圾邮件技术要点

　　垃圾邮件是用专门的邮址搜索软件和邮件群发软件来完成网上邮址收集和邮件散发的，一个邮址搜索软件每次可以搜索到几万个至十几万个有用邮址，一个邮件群发软件每天可以发送百万封同样或不同内容的垃圾邮件。在宽带日益普及的情况下，只要懂得如何发送电子邮件，人们在家里也可以轻而易举得制造出大批垃圾邮件来。对于这种自动化的垃圾邮件制造方式，人工手段删除垃圾邮件显得无能为力，必须借助一定的技术手段对付批量的垃圾邮件。

　　过滤技术是目前反垃圾邮件用到的主要技术。电子邮件通常具有几个重要特征，标准电子邮件地址(包括收发件人邮箱名、收发人邮箱服务器IP地址或域名)、主题、信件内容(包括正文、关键字、附件)等相关字段，这些特征是过滤技术判断、分析、统计和提取的依据。目前的防垃圾邮件系统主要是通过启发式过滤技术来实现。

　　该技术主要是对邮件进行来源过滤和内容过滤。对于上文中提到的第一、第三种垃圾邮件，启发式过滤技术可以根据其来源特征进行过滤。这种方式可以在邮件完全提交之前就进行阻断，能有效保护网络资源。内容过滤就是对邮件正文进行内容匹配，能够有效防止第二种垃圾邮件。对于那些一时无法识别和处理的特殊垃圾邮件，比如第四种垃圾邮件还需要技术人员通过人工方式进行处理。

　　从原理来看，提取邮件特征、获得关键词是启发式过滤技术的关键。一般网站和大型企业通常会设立专门垃圾邮件用户投诉信箱，技术人员可以从这些躲过反垃圾邮件软件处理，直接到达用户信箱而被用户送来的垃圾邮件中，摘取关键词进行分析过滤，或是统计垃圾邮件的相关特征，输入反垃圾邮件引擎，使升级后的反垃圾邮件软件能够拒收这些邮件。为了及时获得有效特征，有些网站和大型用户还设立了专门的“诱饵邮箱”，只要有垃圾邮件进入自己的网站，这个诱饵邮箱就会自动截获，供专门技术人员参考。

　　除了启发式过滤技术外，合作式过滤技术也逐渐引起人们的重视。该技术主要通过对邮件进行签名来防止垃圾邮件，通过分布在各地的防垃圾邮件代理对垃圾邮件进行实时的判断和签名，利用各个防垃圾邮件网关的协同工作减少垃圾邮件的危害。

　　过滤技术面临的挑战

　　对于某些用户来说，宁愿接收垃圾邮件也不愿收不到电子邮件。Osterman Research最近一份研究显示，只有25%的用户对他们的垃圾过滤产品的判断能力表示满意，这意味着75%的用户对邮件过滤效果还存在或多或少的不满。过滤技术有可能阻止合法邮件的接收，也会漏过垃圾邮件，这是让75%的用户存有顾虑的原因。

　　根据Infoworld日前做的调查显示: 在实际应用中，防垃圾邮件的过滤产品可能会造成比其所解决的问题更多的麻烦。以关键字搜索为例，一家企业过滤了一种色情垃圾邮件中经常出现的三个字母的脏词，结果却发现它也是公司开发人员常用的缩写字，被过滤掉的邮件中竟然有40%是合法的业务邮件。对于过滤技术来说，准确性至关重要。如果将收到的垃圾邮件阻挡85%左右，这一准确率是非常高的，但是目前多数反垃圾邮件过滤产品还达不到这一准确率。

　　在没有找到提高准确率的有效办法之前，人们可以遵循一些通用的部署准则来减少可能被垃圾邮件过滤软件阻挡的合法电子邮件的数量。

　　1、监测过滤产品的运行，评估什么样邮件被阻挡在外，及时调整过滤策略。

　　2、寻找一个可以接受的平衡点，使尽可能多的合法邮件不被过滤掉，允许少量垃圾邮件躲避过滤。

　　3、使用不同过滤技术的组合，如关键字、域和IP阻挡、黑名单、白名单(whitelist)或收信账户，采用更复杂过滤技术的软件。

　　4、隔离被阻止的邮件，查看被阻止的邮件是否是垃圾邮件，以确定是否需要删除。

过滤技术未来的趋势

　　未来反垃圾邮件技术，在提高准确率的同时，必须同时满足以下条件: 适应各种网络规模; 支持可游离于各种服务器之外的电子邮件过滤系统; 支持用户发信认证功能; 支持关键词、信件来源、目标地址和源地址的过滤; 支持智能触发过滤功能; 保证正常邮件到达的稳定性和实时性; 可自动关闭中转访问功能，保证邮件服务器不被非法利用; 可自动抓捕新垃圾邮件标本，根据标本自动分析、建立、升级新的垃圾邮件特征代码库; 可自动生成新的邮件过滤规则，自动拦截各种垃圾邮件; 在邮件过滤出现错误或障碍时，能够自动或手动及时补救; 过滤规则简单、操作方便; 能够有效地管理垃圾邮件，包括对可疑信件进行阅读、删除，并能将可疑信件转发给固定管理员; 可自动统计每天的转发信件和拦截的可疑信件，并以此为根据，对系统容量、吞吐量和拦截率进行综合评定; 支持基于Web的可集中管理和分布管理功能等; 支持包括BIG5、MIME、Base64在内的多种编码方式，并能有效拦截这些非明码的编码信件; 支持远程监督控制等。

　　未来反垃圾邮件技术将是以预防为主，防御和清除并进，这就要求反垃圾邮件产品增强防御的实时性、智能性和减少人工干预。另外，反垃圾邮件技术还会向专业化、职业化方向发展。不久的将来，在反垃圾邮件领域内将会形成一支专门从事发现、分析、开发和推广反垃圾邮件软件的专业队伍。目前，许多大型网站和邮件运营商已经开始设立 “首席垃圾官”，专门负责本邮件服务器、网站或本部门的垃圾邮件防御与清除工作。

　　反垃圾邮件的对策

　　防止垃圾邮件，人们可以从订阅服务、网关、服务器端和客户端四方面入手。

　　订阅服务: 对付垃圾邮件最好的解决方法是阻止其传输。国外许多用户通过向ICP/ISP订阅服务，可以有效阻止垃圾邮件到达服务器。为了鉴别哪些邮件是垃圾邮件，ICP/ISP通常会建立一个特殊账号用于吸引垃圾邮件。这个账号收到的所有信息都先被“定住”，然后被用户网络的代理所过滤。在这类服务中，用户不需要安装专用硬件或软件。

　　基于服务器的软件: 这些软件通常运行于邮件服务器或是一台单独的机器上，它们检查邮件头和发送的信息并且阻止那些无效信息。众多基于服务器的过滤软件都参考了一个众所周知的垃圾邮件制造者或策源地的列表，并最终把来自这些地方的信息筛除。最流行的列表是在邮件滥用预防系统(MAPS: Mail Abuse Prevention Systems)中有个黑洞列表(Blackhole List)。MAPS可以删除其DNS列表中的垃圾邮件制造者的服务提供商的地址，来阻止垃圾邮件对后端系统的干扰。这种过滤产品可以在信息通过之前，根据MAPS的域名服务器来检查入境信息的头信息，查看基于服务器的垃圾过滤软件的列表。

　　硬件网关: 如果用户有大量邮件需要接收，这些用户可以采用一种基于硬件的邮件过滤网关。它比基于软件的网关产品更有优势的地方是能够处理更大量信息。这种设备安置在路由器和服务器之间，以过滤垃圾信息。有些硬件邮件过滤网关可以扫描发出的邮件，有些只能扫描进入的邮件。它们的过滤规则各不相同，通常是根据内容或者行为制定，部分设备还可以扫描病毒。

　　客户端: 客户端是防垃圾邮件的最后一道防线，用户可以采用客户过滤软件。在客户端的过滤方法中，人们可利用一些常见的电子邮件客户端工具的分拣和过滤功能来设定规则，把接收下来的电子邮件进行检查和匹配，从发件地址、主题、正文内容中的关键词，对那些符合垃圾邮件特征的电子邮件，执行自动删除操作，或者加装某些客户端工具，利用邮件下载协议(POP3或IMAP4)的一些特定指令先下载邮件的头部信息进行垃圾邮件的判断和识别，这样客户端就不需要将电子邮件完全下载才能进行识别和处理了。

　　像反病毒一样，反垃圾邮件需要每一位用户的共同参与和积极配合。具体来说，企业用户可以选择一些防垃圾邮件的软件来保护自己的邮件系统。对于电信用户(大容量电子邮件系统)，部署防垃圾邮件系统可能会对邮件的正常传输产生一定影响，在部署系统之前，这部分用户最好对系统的稳定性和性能进行充分的测试和估算，并要保证一定的性能冗余。对于个人用户来说，要注意将自己的邮件地址在最小范围内散发，不要将邮箱注册到某些声誉不高的ICP/ISP，不要购买通过垃圾邮件发布广告的商品，使用客户端防垃圾邮件软件，在收到垃圾邮件时，向相关组织报告垃圾邮件的信息，以便向垃圾邮件规则库中提交更多的匹配模式。