专注点,细心点,耐心点 知行合一
分类: C/C++
2013-01-25 11:07:38
Xapian支持同义词的查询拓展。
按照同义词进行拓展算是查询拓展最基本的一种方式。
比如“汽车展览”和“车展”是同义词,我们搜索汽车展览的时候,也会把“车展”的结果返回。
很多人认为这个就是拼写校正,但实际它比拼写校正稍微高级点,特别是放在Xapian的语境下,毕竟拼写校正是基于编辑距离而不是语义的。
1、在DB写入同义词组
创建同义词组的API很简明。
WritableDatabase::add_synonym(term, synonym)
这一对同义词是有方向的,term的同义词是synonym,反之不成立。
即我们搜索“汽车展览”时能拓展出“车展”,反之不成立,如果你需要,那么反着再插入一次吧!
2、在搜索时使用同义词组
和拼写校正一样,肯定的对QueryParser设置db,QueryParser::set_database()
然后在QueryParser::parse_query时,第二个参数传入FLAG_SYNONYM 或者 FLAG_AUTO_SYNONYMS
FLAG_SYNONYM 是在查询语句中出现~WORD 的形式,则把WORD自动同义词拓展
FLAG_AUTO_SYNONYMS 则是把全部的词都给查询拓展,不用显示的写~。
例子:写入同义词组
#include
#include
using namespace std;
#define CONTENT "70比 69, 这是 男篮 亚锦赛 历史上 的 最小 分 差 比赛 , 笑 到 最后 的是 东道主 中国队 。 可以说 , 这是 一次 最 惊险 的 胜利 ; 也可 以 说 , 这是 中国男篮 最 幸运 的 结局 。终 > 场 哨 响 , 中国队 主教练 邓 华德 和 篮管中心 副主任 胡 加时 紧紧拥抱 在一 起 , 两人 都 激动 得 热泪盈眶 —— 中国队 赢了 , 赢得 很 庆幸 。"
#define INDEX_PATH "./index_data"
#define WORD1 "男蓝"
#define WORD2 "男篮"
int main()
{
try
{
//Text to be indexed
string content(CONTENT);
//Open an Database for write
Xapian::WritableDatabase db(string(INDEX_PATH), Xapian::DB_CREATE_OR_OPEN);
//Add Synonym
db.add_synonym(string(WORD1), string(WORD2));
//Prepare TermGenerator, just split word by space, not chinese analysis
Xapian::TermGenerator indexer;
//Make Document
Xapian::Document doc;
doc.set_data(content);
indexer.set_document(doc);
indexer.index_text(content);
//Add Document to db
db.add_document(doc);
//Flush to disk
db.commit();
}
catch(const Xapian::Error &e)
{
cout << e.get_description() << endl;
}
return 0;
}
#include
#include
using namespace std;
#define QUERY "~男蓝 AND 中国队"
#define INDEX_PATH "./index_data"
int main()
{
try
{
//Query
string query_str(QUERY);
//Open an Database for read
Xapian::Database db(string(INDEX_PATH));
//Open Search Handle
Xapian::Enquire enquire(db);
//Parser Query, set db && FLAG_AUTO_SYNONYMS
Xapian::QueryParser qp;
qp.set_database(db);
Xapian::Query query = qp.parse_query(query_str, Xapian::QueryParser::FLAG_SYNONYM);
cout << "Query is " << query.get_description() << endl;
//Find top 10 results
enquire.set_query(query);
Xapian::MSet result = enquire.get_mset(0, 10);
cout << result.get_matches_estimated() << " results found" << endl;
//Print results
for(Xapian::MSetIterator itr = result.begin(); itr!=result.end(); itr++)
{
Xapian::Document doc = itr.get_document();
cout << itr.get_rank() << ": " << ", data " << doc.get_data() << endl;
}
//Close DB
db.close();
}
catch(const Xapian::Error &e)
{
cout << e.get_description() << endl;
}
return 0;
}