《最新反垃圾邮件技术的思考精品课件.ppt》由会员分享，可在线阅读，更多相关《最新反垃圾邮件技术的思考精品课件.ppt（76页珍藏版）》请在taowenge.com淘文阁网|工程机械CAD图纸|机械工程制图|CAD装配图下载|SolidWorks_CaTia_CAD_UG_PROE_设计图分享下载上搜索。
1、进入夏天，少不了一个热字当头，电扇空调陆续登场，每逢此时，总会进入夏天，少不了一个热字当头，电扇空调陆续登场，每逢此时，总会想起那一把蒲扇。蒲扇，是记忆中的农村，夏季经常用的一件物品。记想起那一把蒲扇。蒲扇，是记忆中的农村，夏季经常用的一件物品。记忆中的故乡，每逢进入夏天，集市上最常见的便是蒲扇、凉席，不论男女老忆中的故乡，每逢进入夏天，集市上最常见的便是蒲扇、凉席，不论男女老少，个个手持一把，忽闪忽闪个不停，嘴里叨叨着少，个个手持一把，忽闪忽闪个不停，嘴里叨叨着“怎么这么热怎么这么热”，于是三，于是三五成群，聚在大树下，或站着，或随即坐在石头上，手持那把扇子，边唠嗑五成群，聚在大树下，或站着
2、，或随即坐在石头上，手持那把扇子，边唠嗑边乘凉。孩子们却在周围跑跑跳跳，热得满头大汗，不时听到边乘凉。孩子们却在周围跑跑跳跳，热得满头大汗，不时听到“强子，别跑强子，别跑了，快来我给你扇扇了，快来我给你扇扇”。孩子们才不听这一套，跑个没完，直到累气喘吁吁，。孩子们才不听这一套，跑个没完，直到累气喘吁吁，这才一跑一踮地围过了，这时母亲总是，好似生气的样子，边扇边训，这才一跑一踮地围过了，这时母亲总是，好似生气的样子，边扇边训，“你你看热的，跑什么？看热的，跑什么？”此时这把蒲扇，是那么凉快，那么的温馨幸福，有母亲此时这把蒲扇，是那么凉快，那么的温馨幸福，有母亲的味道！蒲扇是中国传统工艺品，在我国
3、已有三千年多年的历史。取材的味道！蒲扇是中国传统工艺品，在我国已有三千年多年的历史。取材于棕榈树，制作简单，方便携带，且蒲扇的表面光滑，因而，古人常会在上于棕榈树，制作简单，方便携带，且蒲扇的表面光滑，因而，古人常会在上面作画。古有棕扇、葵扇、蒲扇、蕉扇诸名，实即今日的蒲扇，江浙称之为面作画。古有棕扇、葵扇、蒲扇、蕉扇诸名，实即今日的蒲扇，江浙称之为芭蕉扇。六七十年代，人们最常用的就是这种，似圆非圆，轻巧又便宜的蒲芭蕉扇。六七十年代，人们最常用的就是这种，似圆非圆，轻巧又便宜的蒲扇。蒲扇流传至今，我的记忆中，它跨越了半个世纪，也走过了我们的扇。蒲扇流传至今，我的记忆中，它跨越了半个世纪，也走过
4、了我们的半个人生的轨迹，携带着特有的念想，一年年，一天天，流向长长的时间隧半个人生的轨迹，携带着特有的念想，一年年，一天天，流向长长的时间隧道，袅道，袅主要内容q 垃圾邮件的情况垃圾邮件的情况n 反垃圾邮件技术分析反垃圾邮件技术分析 垃圾邮件的定义垃圾邮件的定义 垃圾邮件历史垃圾邮件历史 现状分析现状分析n 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究n CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作商业宣传邮件商业宣传邮件政治宣传邮件政治宣传邮件色情宣传色情宣传邮件邮件病毒邮件病毒邮件现状分析现状分析-常见垃圾邮件类型常见垃圾邮件类型发件人地址随机变化发件人地址随机变化邮件
5、主题随机变化邮件主题随机变化伪造邮件头干扰信息伪造邮件头干扰信息信体内容随机变化内容信体内容随机变化内容正文以图片方式显示，难以识别正文以图片方式显示，难以识别对垃圾邮件的定义和分类因人而异对垃圾邮件的定义和分类因人而异垃圾邮件在不同时段内的传播内容不一样垃圾邮件在不同时段内的传播内容不一样垃圾邮件在不同范围内的传播内容不一样垃圾邮件在不同范围内的传播内容不一样现状分析垃圾邮件的特点宽带网络的快速发展宽带网络的快速发展网络通信成本的下降网络通信成本的下降硬件性能的提高并且成本不断降低硬件性能的提高并且成本不断降低成本与产出的巨大反差成本与产出的巨大反差邮件的易伪造邮件的易伪造缺乏法律与规范的约
6、束缺乏法律与规范的约束现状分析-泛滥原因现状分析危害国家层面：政治、经济、文化国家层面：政治、经济、文化用户层面：学习、工作、生活用户层面：学习、工作、生活对于对于CERNET 内的高校而言内的高校而言： 网络安全性、稳定性、高效性；网络安全性、稳定性、高效性； 占用带宽、存储空间；占用带宽、存储空间； 被列入各种黑名单；被列入各种黑名单； 被投诉；被投诉；声誉、国际影响；声誉、国际影响；现状分析现状分析- Spammers 的手段v获取目标地址获取目标地址扫描、猜测、购买扫描、猜测、购买利用病毒从本地邮箱获取联络人利用病毒从本地邮箱获取联络人EmailEmail地址地址v逃避检测、追踪和过滤
7、的技术逃避检测、追踪和过滤的技术Open-Relay Open-Relay 自架设自架设 MTAMTA服务服务采用动态采用动态IPIP地址地址伪造或隐藏信源地址伪造或隐藏信源地址逃避内容过滤：逃避内容过滤： Graphics , URL, mis-spelling, etc. Graphics , URL, mis-spelling, etc. v欺骗（欺骗（PhishingPhishing）技术）技术If the message will not displayed automatically,follow the link to read the delivered message.Rec
8、eived message is available at: 邮件欺诈技术欺诈伪造的网页主要内容q 垃圾邮件的情况垃圾邮件的情况n 反垃圾邮件技术分析反垃圾邮件技术分析 技术概览技术概览 垃圾邮件的响应环节及措施垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制邮件的传输过程及对垃圾邮件的控制n 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究n CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作技术概览增强邮件服务器的安全性，防止漏洞及时补丁提高系统防病毒能力提供邮件服务安全身份认证添加反垃圾邮件的专用设备或插件IP、域名、邮件地址的黑白名单及BBL方式SMTP通信链接速率
9、、频度的设定反向域名验证基于信头、信体、附件的内容关键词基于贝叶斯算法的统计分析基于匹配判定规则的方式电子邮票Challenge-ResponseDomainkeys、SenderIDSPF (sender policy framework)主要内容q 垃圾邮件的情况垃圾邮件的情况n 反垃圾邮件技术分析反垃圾邮件技术分析 技术概览技术概览 垃圾邮件的响应环节及措施垃圾邮件的响应环节及措施 邮件的传输过程及对垃圾邮件的控制邮件的传输过程及对垃圾邮件的控制n 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究n CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作反垃圾邮件的技术环节增强邮件
10、服务器的安全性，防止漏洞及时补丁提高系统防病毒能力提供邮件服务安全身份认证添加反垃圾邮件的专用设备或插件IP、域名、邮件地址的黑白名单及BBL方式SMTP通信链接速率、频度的设定反向域名验证法基于信头、信体、附件的内容关键词基于贝叶斯算法的统计分析基于垃圾邮件判定规则电子邮票Challenge-ResponseDomainkeys、SenderIDSPF (sender policy framework)丢弃(Drop)标记（Lable）隔离（Quarantine主要内容q 垃圾邮件的情况垃圾邮件的情况n 反垃圾邮件技术分析反垃圾邮件技术分析 技术概览技术概览 垃圾邮件的响应环节及措施垃圾邮件
11、的响应环节及措施 邮件的传输过程及对垃圾邮件的控制邮件的传输过程及对垃圾邮件的控制n 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究n CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作邮件的传输过程OriginatorReceiverExternal-Relay布控点及相关措施（一）q 在发送邮件的服务器上采取措施：在发送邮件的服务器上采取措施：限制服务器发送邮件的速率、频率限制服务器发送邮件的速率、频率规定邮件服务器开放服务的端口，关闭不必要的服务规定邮件服务器开放服务的端口，关闭不必要的服务使用经过认证的使用经过认证的MTAMTA转发邮件转发邮件设定邮件用户身份认证方式设定邮
12、件用户身份认证方式q 与邮件用户间互签安全协议与邮件用户间互签安全协议布控点及相关技术（二）q：可信任的信道，即每次中转都采用可信赖的实体：可信任的信道，即每次中转都采用可信赖的实体SSL/TLSSSL/TLSPPP LogicPPP LogicSSHSSHq：合法的对象源，对邮件信息可以做确认：合法的对象源，对邮件信息可以做确认S/MIMES/MIMEPGPPGPq设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮
13、件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDom
14、ain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response黑名单不占用计算机资源，易于实施 。需要手动维护的IP地址清单。垃圾邮件发送者经常修改他们的IP地址，并采用一个广泛的IP地址区间以逃避反垃圾邮件手段的检测，因此该方案在总体的垃圾邮件解决方案中仅起补充作用。黑名单、白名单、灰名单q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮件地址的
15、黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain
16、keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseRBLs (实时黑名单)也被称为DNS-RBLs, 检查所有收到邮件的IP地址，与在RBL中的IP地址核对来阻断与spammer 的连接。RBL服务运营商维护公共RBLs, 使用单位仅需订阅实时黑名单服务。 RBLs的计算开销非常低，同时它们通常采用一个类似与DNS的协议实施，所以它们的网络开销也非常低。 RBLs缺点易于产生误报，须谨慎。RBL工作原理SMTP服务器接收到链接请求对链接地址进行DNS反向查询与RBL服务器建立查询查询得到肯定的结果，则拒绝该连接查询无结果，
17、继续进行连接q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容
18、统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responsev检查邮件内容中含有的URL链接v定义受益黑名单基于基于BBL过滤过滤q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或m
19、iningfield miningfield 的检测的检测IPIP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的
20、:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseDOS(拒绝服务)攻击-垃圾邮件发送者经常试图通过在很短一段时间发送大量邮件阻塞邮件服务器 。速率控制允许在一段时间内从相同IP试图的联接数量控制在设置的范围内 。链接频度控制q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IP
21、IP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain
22、keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response反向域名验证对收到邮件的来源IP地址采用反向DNS查找验证真实性 如果反向DNS查找提供的域与邮件上的来源IP地址相符合，该邮件被接受。如果不符合，该邮件被拒绝。由于很多反向DNS目录未被有效建立 ，或无法正常建立，比如，任何”vanity”域名决大多数情况下没有一个正确的反向DNS查找。在这种情况下，由这些域发送的邮件将被阻断，造成不可接受的高误报告率。简单有效、可以阻断绝大多数垃圾邮件；词语过滤识别包含特定关键字的所有邮件，比如“免费”、“色情”等
23、在垃圾邮件中经常发现的词语； 例如在MUA可以自定义过滤关键词关键词过滤集能够持续升级vQ：垃圾邮件发送者经常将一些单词拼错，以图饶过词语过滤器，所以词语过滤器需要经常升级，加入关键字的变更。关键词过滤法q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)
24、基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-response贝叶斯过滤法贝叶斯算法：以著名数学
25、家托马斯 贝叶斯（1702-1761)命名，一种基于概率分析的可能性推论理论。 分析过去事件的知识，预测未来事件 。贝叶斯过滤器与以前收到的垃圾邮件和合法邮件的中相同词语及短语出现的概率对比来确定垃圾邮件的可能性。贝叶斯过滤法强大，是阻断垃圾邮件最为精确的技术过滤准确率可达到99%过滤准确性依赖大量的历史数据。q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBL
26、BBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如
27、:DSBL、DCC、Razor、APFChallenge-response基于规则评分的过滤系统系统代表SpamAssassin；集合人工智能技术的应用系统；对发现的每一个关键词赋予分数，分数越高，该邮件是垃圾邮件的可能性就越高 ；得分超过一定值时，该邮件将被分类为垃圾邮件。可以清除90%的收到邮件中的垃圾邮件。局限性：和词语过滤面临同样的挑战，为使评分有效，规则必须经常更新。 q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IP
28、IP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain
29、keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responsev对于垃圾邮件的伪造域地址或伪造回复地址的有效阻断技术SPF (Sender Policy Framework / Sender Permitted From ) 这是对SMTP协议的一个补充，防止发件人假冒,开放的标准，免费。域(Domain)通过DNS发布反向MX记录，告诉Internet哪些计算机可以从该域发送电子邮件。接收方收到邮件后，通过DNS查询邮件来源是否符合源域的邮件发送策略。DMP (目标发件人协议)、 RMX (反向邮件交换)SPF
30、、 DMP、 RMX -1SPF、RMX、DMP分别定义各自的反向MX记录，以确定一封从某一特定域发送的邮件是否允许从特定的IP地址发出。不是从正确MX/SPF/DMP 地址区间产生的邮件地址被识别为伪造，邮件自身被标记为垃圾邮件。 标识：“RMX” for RMX, “SPF” for SPF, and “DMP” for DMP例如，可以定义SPF 记录：v=spf2.0/pra ptr mx:202.112.57.8 mx: mx allSPF、 DMP、 RMX -2q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于h
31、oneypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描
32、邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseDomain Keyssendersender域的所有者生成公钥/私钥对，私钥用于所有发出邮件的签名。公钥通过DNS系统发布。当授权用户发送邮件时，邮件服务器自动产生邮件的数字签名，作为邮件头的一部分发送给接收方。receiverreceiver接收服务器从邮件中提取签名，从DNS系统中获得发送域的公钥，验证发送方的数字签名。如果没有签名或签名验证失败，接
33、收方可以拒绝、标记或隔离该邮件。Yahoo！公司提出 q设置不同方式的过滤措施设置不同方式的过滤措施 布控点及相关技术（三）q基于流量的入侵检测基于流量的入侵检测q基于基于honeypothoneypot或或miningfield miningfield 的检测的检测IPIP、域名、邮件地址的黑白名单、域名、邮件地址的黑白名单、RBLRBLBBL(Benefit Blackhole List)BBL(Benefit Blackhole List)基于链接速率、频度的动态规则基于链接速率、频度的动态规则反向域名验证反向域名验证基于信头、信体、附件的内容关键词基于信头、信体、附件的内容关键词过滤过
34、滤基于贝叶斯的内容统计分析基于贝叶斯的内容统计分析基于规则评分系统的过滤平台例如：基于规则评分系统的过滤平台例如：SpamAssassinSpamAssassin邮件病毒扫描邮件病毒扫描正在讨论中的正在讨论中的:SPF:SPF、 DMPDMP、 RMXRMXDomain keysDomain keysq订制第三方服务订制第三方服务 例如例如:DSBL、DCC、Razor、APFChallenge-responseChallenge-Response对付那些邮件自动发送程序 该系统维护了一个允许发件人清单 ，新发件人邮件在发送前被暂时保留 ，challenge-response系统发送给邮件发件
35、人一个测试 ，如果发件人成功完成“测试”，测试/回复系统将他加入到允许发件人的清单中，该邮件被发送到目标地址。 测试信息通常要求发件人在回复邮件中复制一个数字到数字框中要求信息,或者包括一个URL链接。采用虚假发件人邮件地址将不可能收到测试信息 v大量的非法邮件是由病毒程序产生的。病毒扫描是减少垃圾邮件数量的一个重要手段。 病毒扫描主要内容q 垃圾邮件的情况垃圾邮件的情况n 反垃圾邮件技术分析反垃圾邮件技术分析n CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作n 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究CCERT反垃圾邮件工作历史vCERNET是国内首先开展反垃圾邮件工作
36、的组织之一1996年开始跟踪国际反垃圾邮件组织的工作，开始处理国际相关组织对国内Open-Relay服务器的投诉，通知用户；1998年建立正式受理国际的投诉1999年成立CCERT，专人负责垃圾邮件相关工作，通过 受理国内的投诉2002年CCERT召开CERNET范围内的垃圾邮件处理协调会议，全国10个地区网络中心参加2002年 全国电子邮件服务器系统调查2002年制定了CERNET关于制止垃圾邮件的管理规定CCERT反垃圾邮件工作历史2002年组内研究生完成了反垃圾邮件硕士论文2002年接受南方周末、中央电视台东方时空、北京晨报等媒体采访，引发了媒体对垃圾邮件的广泛关注；2003年出版国内第
37、一本关于反垃圾邮件方面的专著垃圾邮件与反垃圾邮件技术2003年参加互联网协会反垃圾邮件协调小组活动，担任技术工作组负责单位2004年10月主办中国反垃圾邮件技术会议CCAS20042004年9月发布国际第一套中文反垃圾邮件规则集合、并提供公益服务。CCERT反垃圾邮件技术组主页CCERT反垃圾邮件体系Monitoring and detectionActive controlInternetSMTPEmail gatewayRoutersSpam reportEndusersCcert-BLanalysis and StatisticFiltering plug-inSecurity conf
38、iguration 主要内容q 垃圾邮件的情况垃圾邮件的情况n 反垃圾邮件技术分析反垃圾邮件技术分析n CCERTCCERT开展的反垃圾邮件工作开展的反垃圾邮件工作n 中文垃圾邮件过滤规则研究中文垃圾邮件过滤规则研究垃圾邮件内容过滤方法基于规则方法（1999）基于统计方法（19992004）统计规则方法（2004）概念 基于规则方法 寻找“垃圾邮件的特殊模式”，例如：主题包含“免费”。 基于统计方法 文本自动分类，根据垃圾/正常样本训练分类机概念图正常邮件垃圾邮件基于规则分类面基于统计分类面统计学习理论风险经验风险实际风险hVC置信度过学习欠学习基于规则基于统计准确性 基于规则 检测垃圾邮件的
39、准确率高 不能检测新的垃圾邮件，即漏检率高 基于统计 检测垃圾邮件的准确率不高 能检测新的垃圾邮件，即漏检率低我可以容忍垃圾邮件，但绝不忍受正常邮件被丢掉！垃圾邮件查全率正常邮件误判率目标 90% 85% 5%参考值Return-Path: Received: from (61.141.240.168)by (MIMEDefang) with ESMTP id NOQUEUEfor ; Thu, 23 Dec 2004 10:40:21 +0800 (CST)Message-ID: From: iflkgj Subject: =?GB2312?B?08W73bT6v6q3osax?=To: C
40、ontent-Type: text/plain;charset=GB2312Reply-To: Date: Thu, 23 Dec 2004 10:54:34 +0800X-Priority: 2X-Mailer: Microsoft Outlook Express 6.00.2800.1158贵公司负责人(经理/财务)您好： 我公司是深圳市如意广告有限公司，我公司实力雄厚，有着良好的社会关系。因我公司是定额税额，每月有一部分普通广告发票和其他服务发票（地税）（2%）.检测对象基于统计基于规则应用范围客户端客户端服务器服务器基于规则（SpamAssassin）基于统计(贝叶斯)推广性和时效性
41、基于规则 推广性强 时效性差 基于统计 时效性强 推广性差时效性推广性基于规则基于统计 ？语义问题？CCERT的新方法 统计规则方法 规则由统计方法自动生成推广性时效性基于规则好差基于统计差好统计规则好好CCERT的新方法和传统方法比较SpamAssassin (SA) 免费垃圾邮件过滤系统 公开源代码 支持sendmail、qmail、Postfix、Exim MTA、MUA、POP3 基于规则，用户自定义规则 查准率高，速度快 广泛使用SA规则例子bodyDEAR_FRIEND/s*Dear Friendb/idescribe DEAR_FRIEND Dear Friend? Thats
42、not very dear!score DEAR_FRIEND 0.542正则表达式名字分值说明应用范围（信头、信体、原始信体、原始邮件、URI）垃圾邮件判别方法总分值 6.3，阈值 5.0 pts rule name description- - - 0.5 DEAR_FRIENDDear Friend? Thats not very dear! 0.1 NORMAL_HTTP_TO_IP URI: Uses a dotted-decimal IP address in URL 0.0 HTTP_ESCAPED_HOST URI: Uses %-escapes inside a URLs h
43、ostname 0.5 HTML_60_70 BODY: Message is 60% to 70% HTML 0.0 HTML_MESSAGE BODY: HTML included in message 2.9 HTML_IMAGE_ONLY_08 BODY: HTML: images with 400-800 bytes of words 1.0 HTML_FONT_LOW_CONTRAST BODY: HTML font color similar to background 1.2 MIME_HTML_ONLY BODY: Message only has text/html MIM
44、E parts所有规则都检查计算总分值：匹配的规则的分值之和总分值大于阈值则是垃圾邮件SA对中文的支持 SA主要针对英文垃圾邮件 缺乏中文规则 英文规则对中文邮件的影响CCERT的中文垃圾邮件过滤规则集Chinese_rules.cf(http:/ Chinese_rules.cf包含约500条规则 规则简单则匹配快 Subject规则占90%、Body规则占10% 普通PC(P4 2.8G)匹配一个大小为5.0K的邮件需要0.04秒 每天能处理216万封邮件语义问题？Chinese_rules.cf的准确率阈值垃圾邮件查全率（共3.5万）正常邮件误判率（共14.3万）0.577.4 %4.4
45、 %170.8 %1.6 %1.564.4 %0.8 %256.9 %0.3 %2.550.2 %0.1 %344.3 %0.0 %3.538.8 %0.0 %Chinese_rules.cf的进展用户查看规则统计用户使用规则统计Sep (2004)OctNovDec050010001500200025003000 # of viewmonthSep (2004)OctNovDec020406080100120140160180 # of usemonth Old users New users从9月7日至12月15日SA 把超过4.5的邮件判为Spam，本邮件分值为10.3如果没有中文规则集，本邮件分值只有3.1 ，将会判为正常邮件总结 推广性、时效性和语义问题 垃圾和正常邮件样本 用户反馈信息与在线学习 Chinese_rules.cf和其它规则的冲突 语义问题在规则上的体现 多种方法的结合Thanks!Spam service: 86-10-62784301 Email: Tel: 86-10-62795818-6222Address: Main Building Room 310, Tsinghua Univ. Beijing, China 10008476 结束语结束语