搜索引擎广告的检索

搜索引擎广告的检索

　　广告检索的过程：

　　广告检索就是通过对给定的网民的信息需求，在广告库(Ad Set)中找到相关的广告，简单的来看，可以把Ad Retrieval当做是文本检索(TR)领域的一个应用。

　　文本检索的两种思路： Doc Selection(Classification) 和 Doc Ranking(Ranking)，在文件检索中，通常利用相似度来计算，而相似度是一个度量概念，所以在

　　实际的文件检索中通常使用的ranking的方法，然后在Ad Retrieval中，因为广告检索的的判断标准不是相似度，而是ectr*bid结合各方面因素进行权衡，在实际经验中，

　　发现采用classification的方法可能会更好一点。

　　一个可能的搜索广告触发子系统：

　　重要的环节：

　　query分析： topic model等语义分析方法，而且必须在线实时，由于query词可能比较少，有涉及query expansion的技术。

　　其中query expansion的主要思路有：

　　相关性反馈： 利用网民主动选择的文档作为原query信息的扩展。

　　伪相关反馈：利用初始优质检索文件作为原query信息的扩展。

　　基于词典的扩展：利用或自动构建term文件关联，对原query进行扩展。

　　广告特征分析：这里需要额外考虑的是广告本身的特征。可以异步，offline进行分析。

　　Classifier:

　　关于relevence建模的方法，可见下图：

　　其中：

　　1)向量空间建模方法：它默认有一个前提，就是term之间相互独立。

　　存在问题： 向量的每一维是什么，如何weighting(TFIDF等变种)，如何选择计算相似度的方法(内积，余弦，等各种距离计算方法)。但实现简单，可快速工程化，不过进 行参数调试过程中非常晦涩。

　　VSM关键技术：

　　分词：分词的粒度问题：大粒度检索精准，但是可能不全面;小粒度检索全面但是不精确。

　　赋权(term weighting)：短文本信息量太少。

　　解决办法：a) 通过改进全局term权重，采用idf的变种iqf,icf或者全新的全局权重的定义：CTR作为term的权重

　　b) query expansion,解决文本短小TF为基本1的问题

　　c) 全新的term weighting建模方法：f(d,w).

　　filtering:doc list返回后进行rank时计算score.

　　2)基于machine learning的建模：

　　基于样本标注的relevance model: ctr建模+用户体验建模。其优点是理论体系完备，能更好的利用big data来训练模型和调节参数，更好的fit data。