用 Elasticsearch 造个“知网”难不难?
近期“知网”的热度一直不减,本来可以拿一些热点图片、网友评论作为开场。算了,这不是我一个技术博主该做的。
此处仅拿2022年5月24日早晨 6:00 微博搜索“知网”得到的前20条动态信息的词云说话。
在网友不建议专家建议的大环境下,作为老百姓对“知网”的建议如下:
1、尊重版权,每篇文档被下载(人工备案下载,非爬虫)获得的收益一半(比例待商榷)费用给第一作者,这会极大的激发大家的创作动力。
2、将文章收益、被引用次数等作为未来文章评价指标。好文章(被引用多、被下载多)会有高收益,不好的文章会石沉大海。这会极大鼓励高校研究人员写好文章。
此处省略1万字......
当然,这些都不是我们平头老百姓该操心的事,作为技术人员,我更关注“知网”的本质——搜索。进一步说根据用户复杂的搜索条件,召回满意的结果。
问题来了,Elasticsearch 三大核心应用场景之一全文检索。用 Elasticsearch 能不能造一个“知网”呢?
这引发了我的极大的兴趣。
1、需求分析
首先,为避免“井底之蛙”,需求降级,降低到自己可控的程度。
天眼查了一下:“知网成立于2004年,共1649人”。得出初步结论,这是有18年技术积累的公司。 版权原因,我们也拿不到知网那么多的数据,只能先象征性的拿手里的文档模拟一下,研究技术的可行性。
其次,“知网”支持的搜索非常复杂,我们只研究“一框”搜索。
把标题检索搞明白了,其他只是时间问题。
再次,“知网”是全网论文的集合体,我们聚焦本地磁盘文件的集合体。
文件类型包含但不限于:.txt, .pdf, .ppt, .doc,.docx 等文档。
综上,为避免落成“螳臂当车”的笑柄,我们把需求转化为简版的“知网”——本地知识库检索系统。
核心功能点如下:
支持多种格式历史文档(pdf、ppt、doc、xls、txt)的解析及索引化。 支持文档基础数据(标题、大小、发布时间、修改时间、作者、全文)的建模。 支持新写入文档数据的解析及索引化,定时周期可配置。 支持建模后的数据存入Elasticsearch,支持通过浏览器访问。 支持kibana可视化分析。
2、技术选型
原则:不重复造轮子,自己可控,使用已有的、成熟的、开源的技术栈体系。
2017 年我带领小伙伴做过类似的知识库检索系统,只不过当时的技术体系较旧,Elasticsearch 也是2.X 版本。
相关技术实现如下两图所示:
关于文档格式转换及解析器,又会涉及如下 N 多技术栈。
早期的技术实现大半时间都花费在了文档格式转换和解析处理上。有没有更好的实现方式,一直是我关心的问题。从最早的自己找各类解析工具用到了 openoffice 组件,到内容检测和分析框架 Tika,再到 Elasticsearch 自身支持的 Ingest Attachment 文档处理器插件,最终到 Elastic 工程师开源的文档爬虫工具——FSCrawler。
2.1 OpenOffice
相比于闭源的金山WPS、微软Office,OpenOffice 现在已经成为全球领先的跨平台、全功能、多语言、公开对象接口、可扩展文件格式的开源办公软件 。引入相关 jar 包,即可实现文档的解析工作。
http://www.openoffice.org/
2.2 Tika
Apache Tika 用Java编写,用于文件类型检测和从各种格式的文件内容提取的库。
使用Tika可以开发出通用型检测器和内容提取到的不同类型的文件,如电子表格,文本文件,图像,PDF文件甚至多媒体输入格式,在一定程度上提取结构化文本以及元数据。
https://tika.apache.org/
2.3 Ingest Attachment 文件处理器插件
基于 Tika 实现的 Elasticsearch 文件处理插件,支持:PPT、XLS、PDF、WORD 等格式。
需要单独安装实现,安装实现如下:
sudo bin/elasticsearch-plugin install ingest-attachment
https://www.elastic.co/guide/en/elasticsearch/plugins/current/ingest-attachment.html
2.4 FSCrawler 文档爬虫工具
2019-02-25 我在社群给小伙伴推荐过,当时我写了如下的两段话。
应用场景:文件系统检索、中文知识库构建、简化pdf、office等文档解析繁琐步骤,一键导入构建索引实现检索等操作。
使用效果(推荐理由):
1、效果不错,已经集成提卡映射Mapping可定制。 2、集成得非常好。自己写的话:第一步,不同类型解析(pdf还有可能涉及OCR识别)、第二步:定好mapping,第三步:导入。 3、各种配置写得很一目了然,上手快。 4、全部开源,如果有需要可以定制化改代码。 5、支持5.x,6.x,以及还未公布的7.x。(ps现在 7.X、8.X 都已经支持) 6、作者貌似是 Elastic 公司的。
https://github.com/dadoonet/fscrawler
https://t.zsxq.com/02EMR7MRn
诚然,仅从更贴合 Elasticsearch 实现的角度来讲,FSCrawler 是文档分析的“终结者”。它几乎包含了我上面所述两幅图的全部技术实现。
所以,我们选型 FSCrawler 作为文档数据源处理+写入 Elasticsearch 同步工具。
2.5 Python Flask 轻量级 Web 框架
Flask 是目前最流行的 Python Web 框架之一。自 2010 年开源以来,Flask 受到了越来越多的 Python 开发者的喜欢,其受欢迎程度不输于 Django。
Flask 足够轻量,只用 5 行就能写出一个最简单的 Web 程序,但并不简陋,它能适应各类项目的开发。
截止:2022-05-24,GitHub Flask 框架 star 数:59.1k。
下图代表 Google 搜索走势,黄色:springboot,蓝色:django,蓝色:flask。flask 和 django 走势基本一致,受欢迎程度较高。
基于此,Web 部分我们选型 Python Flask 框架。
3、 整体架构
基于前面的需求分析和技术选型,整体架构&数据流图如下图所示。
相当于之前的分类型文档解析自己独立实现,FSCrawler 可谓“大包大揽”、“以一敌十”,之前最复杂、最困难的工作全部交由 FSCrawler 完成,包含但不限于:
PDF、DOC、XLS、TXT等文档读取解析 Elasticsearch 数据建模 批量数据同步写入 Elasticsearch 定时同步任务 针对特定图片式样的 PDF 文档,需要OCR 识别实现
有了上面的图,整体就会非常释然,就剩下四个字“干就完了”。
4、 系统实现
直接来个 Gif 动图,看一下实现效果。
相比于之前 java 开发的 web 系统,这次是我全栈实现,涉及到技术包含但不限于:Html、CSS、Javascript、Python、Flask、Elasticsearch、Kibana、FSCrawler。
Html:页面框架。
CSS:页面美化。
JavaScript:动态更新样式的脚本实现。
Python:后端服务接口。
Flask:后端服务框架。
Elasticsearch:数据落地存储。
Kibana:数据可视化分析。
FSCrawler:本地磁盘文档爬虫解析并写入Elasticsearch。
由于足够轻量级,累计核心代码不到 1000 行。
取名为:织网知识库检索系统。此“织网”非彼“知网”。“织”强调的“精耕细作、日积月累、功不唐捐、水滴石穿”。
列表页详情页
各位基础稳定数据统计如下:
本系统涉及的文档数比较少,但要对 Elastic 充满信心。Elasticsearch 支持动态扩展,支持成千上万、数亿、数十亿只是配置问题和数据量问题,技术层面没有问题。
5、小结
回归文章初心,“知网”是个非常庞大的功能体,仅就检索细节讨论的话,涉及很大一块的内容就是内容分析(分词处理、命名实体识别等 NLP 自然语言处理领域的知识)、以及文档之间的关联性(引用、被引用)等,是不小的工程。
本文是以“知网”的文档检索出发,构建了本地知识库系统,验证了 Elasticsearch 技术栈结合 Python Flask 构建知识库检索系统的可行性。
扫码一起视频聊一聊