微信搜一搜中的智能问答技术
数据派THU
共 8470字,需浏览 17分钟
·
2022-07-08 06:58
![](https://filescdn.proginn.com/4f92291df431d433eeac509f601e308d/a7b3745b586d7480ab0cc3ea3cc8dc7b.webp)
本文约7600字,建议阅读15分钟
本文给大家介绍微信搜一搜中的智能问答技术。
![截屏2022-05-30 22.04.27.png](https://filescdn.proginn.com/4a4fb3ab9edb7dd8a061c2551bb49978/160272bb8fc5e5294c0f8b5099dcf417.webp)
背景介绍 基于图谱的问答 基于文档的问答 未来展望
![](https://filescdn.proginn.com/c38dad73860ffb606a6ca7be3a47d93f/52468719021b13bc1ac97b7c7e65d11c.webp)
![](https://filescdn.proginn.com/7e698e611833893fabd58c69068d091b/7c5732149c421e9e462f9e4fb85aa4f5.webp)
基于图谱的问答事实型query,答案形式是实体短语类的短答案。例如“刘德华的妻子”,或者实体集合“中国四大名著”,还有时间/数字等。 第二类是观点型query,答案形式是“是或否”,例如像“高铁可以逃票吗”等。 第三类是摘要型query,不同于前两类短答案,答案可能需要用长句的摘要来回答,通常是“为什么”、“怎么办”、“怎么做”等问题。 最后一类是列表型query,通常是流程、步骤相关的问题,答案需要用列表做精确的回答。
![](https://filescdn.proginn.com/fe96f5ac9946cefd20a3eaa1c949224c/6ff19d2e037702d1e8933050176cfc20.webp)
结构化数据,来源于百科、豆瓣等垂类网站的infobox。优点是质量高,便于获取和加工;缺点是只覆盖头部知识,覆盖率不够。例如“易建联的身高”、“无间道1的导演是谁”。 非结构化的通用文本,来源于百科、公众号等互联网网页文本库。优点是覆盖面广,但缺点在于文本质量参差不齐,对医疗、法律等专业领域知识的覆盖度和权威度不够。 非结构化的专业垂类网站问答库,来源于专业领域垂类站点的问答数据,通常以问答对的形式存在。优点是在专业领域知识覆盖广、权威度高。
![](https://filescdn.proginn.com/6bacdcd663c7a69fc4be29471b577946/eea711d385277b1e3b44699db4af104f.webp)
KBQA的优点是扩展性强,能查询实体的各种属性,同时支持推理,可以解析复杂查询。例如图中右边的一个例子,“姚明的老婆有多高”可以解析得到中间的语义表达式,从而转换成知识图谱的查询,得到问题的答案。涉及的关键技术是图谱构建(包括schema构建、实体挖掘、关系抽取、开放信息抽取技术)和问题解析(包括实体链接、基于semantic parsing的问题解析方法、基于检索的问题解析方法等技术)。 DocQA相较于KBQA的优点是覆盖面更广,能覆盖更多中长尾的问题,同时能解决一些KBQA难以解析的问题。例如,“中国历史上第一个不平等条约”这个query,很难解析成结构化的表达,涉及到的技术主要包括阅读理解(MRC)、开放域问答(OpenQA)。
![](https://filescdn.proginn.com/77a832833b31415a13539538b8a22d95/a1982932b79e333c35a0a71e64da506c.webp)
开放领域知识库中存在大量的歧义实体,例如“长城”、“苹果”,可能在知识库中存在多种类型的同名实体。从query中识别出正确的实体是整个KBQA中一个比较关键的模块。 开放域的知识图谱属性众多,需要从4000+属性中识别出正确的属性。 自然语言的问法多样,同一个属性有不同问法,例如询问李白的出生地,可以有“李白是哪里人”、“李白老家是哪里的”等多种不同的表达。同一个问法也可能针对不同的属性,例如“姚明有多高”、“珠穆朗玛峰有多高”,同样是“有多高”,但询问属性分别是身高和海拔。
![](https://filescdn.proginn.com/acc9dd77988c256a03e1a4f5f58c9553/91a1344a088caf24f925dc79d3528daf.webp)
方案一:检索式的方法。把query和候选答案(知识图谱中的候选节点)表征为向量计算相似度。优点是可以进行端到端的训练,但可解释性和可扩展性差,难以处理限定、聚合等复杂类型的query。 方案二:基于解析的方法。把query解析成可查询的结构化表示,然后去知识图谱中查询。这种方法的优点是可解释性强,符合人能理解的图谱显示推理过程,但依赖高质量的解析算法。综合考虑优缺点,我们在实际工作中主要采用的是这种方法。
![](https://filescdn.proginn.com/00199656d865ded4490cdf44bd977254/88411eb5e5554de91cf4fc3f9438bfce.webp)
实体链接,识别出query中的实体,并关联到图谱中的节点; 关系识别,query询问的具体属性; Topic实体识别,当query涉及到多个实体时,判断哪个实体是问题的主实体; 条件/约束识别,解析query中涉及到的一些约束条件; 查询推理,将前几步的结果组合成查询推理的语句,通过知识图谱获得答案。
![](https://filescdn.proginn.com/87cac76c238e66266ec97de870be2fec/d0a854a7c656ad06faf59c28d823e5a8.webp)
![](https://filescdn.proginn.com/d6b2ddbab1b095c00ffaf8c8290f4605/6774cf3356f4c3f41984c50f290a17e0.webp)
![](https://filescdn.proginn.com/8b0afc45ba756ab9916c81aef8e2b9f4/b1756dcbb804749e075caa95da7e3d6b.webp)
![](https://filescdn.proginn.com/bb54029a2a399eaba81047e0d3ebc849/dc39a0d5fa44ce3cecd6dafcd3c70824.webp)
![](https://filescdn.proginn.com/5b3798250bfbe90cd4ac834349b3b254/87895bee4ea1c1d2613ded92eea30160.webp)
![](https://filescdn.proginn.com/eac06969a2f48d19bf4db9f89f9dcac5/909b8bd309e25f51c94a731c8d03d2e3.webp)
![](https://filescdn.proginn.com/5c775d541c888131db4ff925bc2bde84/03b3fa5603b85f5ac5daa01f639d256e.webp)
![](https://filescdn.proginn.com/f38a7da68be50ad9987839f527d0936d/08f8c8818d9f13dbdb04f2db92018d3d.webp)
![](https://filescdn.proginn.com/a37e593d6c60a49040e890f4bc22e695/27c5515b208fd2bda1d63be6e9c0c3fc.webp)
![](https://filescdn.proginn.com/f74df79d3bdff9a3f88b6b711baadf60/1fcd4ab2dbe741cb4093bf41170e8b9b.webp)
二分类判别:简单问题还是复杂问题 一跳关系剪枝:减少中间节点数量 基于启发式规则剪枝
![](https://filescdn.proginn.com/d9d210cb5b4cb68784225fde16a8754a/dd863226cd97dbaa9a3e771cc8fc5929.webp)
![](https://filescdn.proginn.com/1251394d784713160d8eed9e804e507b/cd1c69037f8a10a805be88cf3f38d5d2.webp)
![](https://filescdn.proginn.com/374b8a466ab4605576bc21ad2074eda7/e2018305cba95b44375a7fd1f0cbca8a.webp)
![](https://filescdn.proginn.com/a0e666e2f71e9f9666676cdf659c5c8d/da69dcac9d978915932bf09643f6a17a.webp)
![](https://filescdn.proginn.com/f5514848a628cc940e2b2a68ca9f7339/cc5eb083d3054167c931ae3787a229a0.webp)
![](https://filescdn.proginn.com/e50b3e7b8d9639529e13533c13cb72ca/662c3544219c8218401c18e07812bf3e.webp)
![](https://filescdn.proginn.com/78b29a237b9b00f47d28e559aeceb3b7/4000783b8b3fec40559c9982bb5ea1f2.webp)
![](https://filescdn.proginn.com/da6ecf4a5c45b01959a3388f08a665bb/3efd334d8f22a505ba9233b10f7b5397.webp)
![](https://filescdn.proginn.com/f1b6a0d449706ca727120c80836a87e9/cb2dc091c563811cd6dcc84012451689.webp)
![](https://filescdn.proginn.com/b453fc5714b0643baf5af0a287bf0856/973647f8c82986f58a0dc5abd0564167.webp)
![](https://filescdn.proginn.com/0c1795bfc664b4d796d5a5ce0e281400/9c09fcf87d0218c3c76dfe98848e9651.webp)
编辑:王菁
校对:林亦霖
评论