附件七:
金笛邮件全文检索技术:Lucene 技术原理简介
内容摘要:
Lucene是一个基于Java的全文索引工具包。
1. 基于Java的全文索引引擎Lucene简介:关于作者和Lucene的历史
2. 全文检索的实现:Luene全文索引和数据库索引的比较
3. 中文切分词机制简介:基于词库和自动切分词算法的比较
4. 具体的安装和使用简介:系统结构介绍和演示
5. Hacking Lucene:简化的查询分析器,删除的实现,定制的排序,应用接口的扩展
6. 从Lucene我们还可以学到什么
基于Java的全文索引/检索引擎——Lucene
Lucene不是一个完整的全文索引应用,而是是一个用Java写的全文索引引擎工具包,它可以方便的嵌入到各种应用中实现针对应用的全文索引/检索功能。
Lucene的作者:Lucene的贡献者Doug Cutting是一位资深全文索引/检索专家,曾经是V-Twin搜索引擎(Apple的Copland操作系统的成就之一)的主要开发者,后在Excite担任高级系统架构设计师,目前从事于一些INTERNET底层架构的研究。他贡献出的Lucene的目标是为各种中小型应用程序加入全文检索功能。
Lucene的发展历程:早先发布在作者自己的
www.lucene.com,后来发布在SourceForge,2001年年底成为APACHE基金会jakarta的一个子项目:
http://jakarta.apache.org/lucene/
已经有很多Java项目都使用了Lucene作为其后台的全文索引引擎,比较著名的有:
• Jive:WEB论坛系统;
• Eyebrows:邮件列表HTML归档/浏览/查询系统,本文的主要参考文档“TheLucene search engine: Powerful, flexible, and free”作者就是EyeBrows系统的主要开发者之一,而EyeBrows已经成为目前APACHE项目的主要邮件列表归档系统。
• Cocoon:基于XML的web发布框架,全文检索部分使用了Lucene
• Eclipse:基于Java的开放开发平台,帮助部分的全文索引使用了Lucene
对于中文用户来说,最关心的问题是其是否支持中文的全文检索。但通过后面对于Lucene的结构的介绍,你会了解到由于Lucene良好架构设计,对中文的支持只需对其语言词法分析接口进行扩展就能实现对中文检索的支持。
全文检索的实现机制
Lucene的API接口设计的比较通用,输入输出结构都很像数据库的表==>记录==>字段,所以很多传统的应用的文件、数据库等都可以比较方便的映射到Lucene的存储结构/接口中。总体上看:可以先把Lucene当成一个支持全文索引的数据库系统。
比较一下Lucene和数据库:
Lucene 数据库
索引数据源:doc(field1,field2...) doc(field1,field2...)
\ indexer /
_____________
| Lucene Index|
--------------
/ searcher \
结果输出:Hits(doc(field1,field2) doc(field1...)) 索引数据源:record(field1,field2...) record(field1..)
\ SQL: insert/
_____________
| DB Index |
-------------
/ SQL: select \
结果输出:results(record(field1,field2..) record(field1...))
Document:一个需要进行索引的“单元”
一个Document由多个字段组成 Record:记录,包含多个字段
Field:字段 Field:字段
Hits:查询结果集,由匹配的Document组成 RecordSet:查询结果集,由多个Record组成
全文检索 ≠ like "%keyword%"
通常比较厚的书籍后面常常附关键词索引表(比如:北京:12, 34页,上海:3,77页……),它能够帮助读者比较快地找到相关内容的页码。而数据库索引能够大大提高查询的速度原理也是一样,想像一下通过书后面的索引查找的速度要比一页一页地翻内容高多少倍……而索引之所以效率高,另外一个原因是它是排好序的。对于检索系统来说核心是一个排序问题。
由于数据库索引不是为全文索引设计的,因此,使用like "%keyword%"时,数据库索引是不起作用的,在使用like查询时,搜索过程又变成类似于一页页翻书的遍历过程了,所以对于含有模糊查询的数据库服务来说,LIKE对性能的危害是极大的。如果是需要对多个关键词进行模糊匹配:like"%keyword1%" and like "%keyword2%" ...其效率也就可想而知了。
所以建立一个高效检索系统的关键是建立一个类似于科技索引一样的反向索引机制,将数据源(比如多篇文章)排序顺序存储的同时,有另外一个排好序的关键词列表,用于存储关键词==>文章映射关系,利用这样的映射关系索引:[关键词==>出现关键词的文章编号,出现次数(甚至包括位置:起始偏移量,结束偏移量),出现频率],检索过程就是把模糊查询变成多个可以利用索引的精确查询的逻辑组合的过程。从而大大提高了多关键词查询的效率,所以,全文检索问题归结到最后是一个排序问题。
由此可以看出模糊查询相对数据库的精确查询是一个非常不确定的问题,这也是大部分数据库对全文检索支持有限的原因。Lucene最核心的特征是通过特殊的索引结构实现了传统数据库不擅长的全文索引机制,并提供了扩展接口,以方便针对不同应用的定制。
可以通过一下表格对比一下数据库的模糊查询:
Lucene全文索引引擎 数据库
索引 将数据源中的数据都通过全文索引一一建立反向索引 对于LIKE查询来说,数据传统的索引是根本用不上的。数据需要逐个便利记录进行GREP式的模糊匹配,比有索引的搜索速度要有多个数量级的下降。
匹配效果 通过词元(term)进行匹配,通过语言分析接口的实现,可以实现对中文等非英语的支持。 使用:like "%net%" 会把netherlands也匹配出来,
多个关键词的模糊匹配:使用like "%com%net%":就不能匹配词序颠倒的xxx.net..xxx.com
匹配度 有匹配度算法,将匹配程度(相似度)比较高的结果排在前面。 没有匹配程度的控制:比如有记录中net出现5词和出现1次的,结果是一样的。
结果输出 通过特别的算法,将最匹配度最高的头100条结果输出,结果集是缓冲式的小批量读取的。 返回所有的结果集,在匹配条目非常多的时候(比如上万条)需要大量的内存存放这些临时结果集。
可定制性 通过不同的语言分析接口实现,可以方便的定制出符合应用需要的索引规则(包括对中文的支持) 没有接口或接口复杂,无法定制
结论 高负载的模糊查询应用,需要负责的模糊查询的规则,索引的资料量比较大 使用率低,模糊匹配规则简单或者需要模糊查询的资料量少
全文检索和数据库应用最大的不同在于:让最相关的头100条结果满足98%以上用户的需求
Lucene的创新之处:
大部分的搜索(数据库)引擎都是用B树结构来维护索引,索引的更新会导致大量的IO操作,Lucene在实现中,对此稍微有所改进:不是维护一个索引文件,而是在扩展索引的时候不断创建新的索引文件,然后定期的把这些新的小索引文件合并到原先的大索引中(针对不同的更新策略,批次的大小可以调整),这样在不影响检索的效率的前提下,提高了索引的效率。
Lucene和其他一些全文检索系统/应用的比较:
Lucene 其他开源全文检索系统
增量索引和批量索引 可以进行增量的索引(Append),可以对于大量数据进行批量索引,并且接口设计用于优化批量索引和小批量的增量索引。 很多系统只支持批量的索引,有时数据源有一点增加也需要重建索引。
数据源 Lucene没有定义具体的数据源,而是一个文档的结构,因此可以非常灵活的适应各种应用(只要前端有合适的转换器把数据源转换成相应结构), 很多系统只针对网页,缺乏其他格式文档的灵活性。
索引内容抓取 Lucene的文档是由多个字段组成的,甚至可以控制那些字段需要进行索引,那些字段不需要索引,近一步索引的字段也分为需要分词和不需要分词的类型:
需要进行分词的索引,比如:标题,文章内容字段
不需要进行分词的索引,比如:作者/日期字段 缺乏通用性,往往将文档整个索引了
语言分析 通过语言分析器的不同扩展实现:
可以过滤掉不需要的词:an the of 等,
西文语法分析:将jumps jumped jumper都归结成jump进行索引/检索
非英文支持:对亚洲语言,阿拉伯语言的索引支持 缺乏通用接口实现
查询分析 通过查询分析接口的实现,可以定制自己的查询语法规则:
比如: 多个关键词之间的 + - and or关系等
并发访问 能够支持多用户的使用
附件八:
金笛邮件系统反病毒、反垃圾邮件引擎技术简介
金笛邮件系统反垃圾、反病毒模块是春笛公司多年的技术结晶,综合运用动态黑名单、 静态黑名单、IP阻断、DNS反向解析、邮件打分、bayes特征库、Razor国际反垃圾协作网等技术手段,垃圾邮件的识别率高达95%-98%。病毒邮件的识别率也在95%以上,可以查杀20000多种病毒,对于目前比较流行的邮件病毒sobig, netsky, mydoom, Worm.SomeFool.Gen 有100%的免疫力。春笛公司与多家知名防毒厂商合作,支持病毒特征库定时在线升级, 保证升级频率一周3次以上。
金笛邮件系统反垃圾、反病毒模块设计成傻瓜化、智能化,不需要复杂的配置, 最大程度降低学习和维护的成本。
金笛邮件系统内置知名开源软件clamav杀毒引擎,经过多年的升级改造之后,具有如下特点:
一、防毒功能特点
1. 采用先进的技术架构, 绝大部分操作在内存处理, 峰值处理能力为18万封/小时, 比普通的反垃圾邮件网关快10倍以上。
2. 彻底查杀隐藏在zip/rar/tar.gz等压缩文件中的病毒, 深度可达20层。
3. 发现病毒邮件后, 金笛邮件系统可以直接将带毒邮件投递到用户病毒邮件箱,同时投递到管理员。
4. 病毒特征库的升级频率可调, 每次升级都有详细的log日志, 自动发送到管理员的邮箱. log日志可以设定大小,自动回滚使用。
5. 金笛邮件网关内置的杀毒引擎支持多线程(最多10线程),支持15层目录深度搜索扫描, 支持防病毒系统自检功能,开启自检功能后,防毒系统每隔1小时会自检一次。
6. 后续版本将支持病毒邮件短信SMS报警通知功能。
7. 病毒特征库升级通过由升级服务进程自动完成,升级时通过DNS轮寻,连接最快的升级服务器. 1次升级失败时,系统自动重试9次。
二、防垃圾邮件功能特点:4层垃圾邮件防护
第一层: 网络层采用IP阻断和动态黑名单
在网络层,金笛邮件系统可以设置屏蔽任何一个IP,一个网段;也可以屏蔽任何一个发信人,一个域。动态黑名单采用黑洞技术,可以实时获取反垃圾邮件列表。金笛邮件网关支持由国际反垃圾邮件组织提供的实时黑名单RBL。
第二层: smtp协议会话格式检查,DNS反向解析
在这一层,金笛邮件系统在SMTP协议的每个阶段进行判断:MAIL/FROM/RCPT/DATA,对于不符合RFC规范的邮件,都作为垃圾邮件处理. 对于不能正确反向解析的,也作为垃圾邮件处理。
第三层: 动态白名单
如果某一个发信人发送的邮件均为正常邮件,积累到一定数量后,系统自动将发信人加入白名单列表。
第四层: 基于Bayes算法的内容过滤
通过内置的贝叶斯(Bayes)库对进入邮件系统的每封邮件的头部和正文进行分析,得出阀值,阀值低于5,则为正常邮件;如果超过5,金笛邮件网关判定为垃圾邮件,会在主题增加SPAM***字样;如果阀值超过7,系统会自动归置垃圾邮件;阀值超过9,系统会自动删除. 对于主题带有SPAM标记的邮件,用户可以通过客户端软件或者webmail设置过滤规则转存到一个文件夹,定期检查,确认无误后删除。