Amundsen数据发现和元数据引擎

联合创作 · 2023-09-18 19:50

Amundsen 是一个数据发现和元数据引擎,用于提高数据分析师、数据科学家和工程师在与数据交互时的工作效率。

它通过索引数据资源(表、仪表板、流等)和基于使用模式(例如,查询次数多的表比次数少的表出现得更早)支持页面排名样式搜索来实现这一点。包括三个微服务、一个数据提取库和一个公共库。

  • amundsenfrontendlibrary:前端服务,它是一个带有 React 前端的 Flask 应用程序。
  • amundsensearchlibrary:利用 Elasticsearch 进行搜索功能的搜索服务用于支持前端元数据搜索。
  • amundsenmetadatalibrary:元数据服务,利用 Neo4j 或 Apache Atlas 作为持久层,提供各种元数据。
  • amundsendatabuilder : 用于构建元数据图和搜索索引的数据摄取库。用户可以使用带有库的 python 脚本或导入库的Airflow DAG加载数据。
  • amundsencommon:Amundsen Common 库包含 Amundsen 微服务之间的通用代码。
  • amundsengremlin:Amundsen Gremlin 库包含用于将模型对象转换为 gremlin 中的顶点和边的代码。它用于将数据加载到 AWS Neptune 后端。
  • amundsenrds:Amundsenrds 包含 ORM 模型以支持关系数据库作为 Amundsen 中的元数据后端存储。ORM 模型中的模式遵循数据构建器模型的逻辑。Amundsenrds 将用于数据构建器和元数据库,用于关系数据库的元数据存储和检索。 

主页

文档

要求

  • Python = 3.6 或 3.7
  • Node = v10 或 v12(v14 可能存在兼容性问题)
  • npm >= 6

入门

请访问 Amundsen 安装文档以 快速开始 使用虚拟数据引导默认版本的 Amundsen。

Amundsen 是 LF AI & Data Foundation 的孵化阶段项目。

浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报