Amundsen数据发现和元数据引擎
Amundsen 是一个数据发现和元数据引擎,用于提高数据分析师、数据科学家和工程师在与数据交互时的工作效率。
它通过索引数据资源(表、仪表板、流等)和基于使用模式(例如,查询次数多的表比次数少的表出现得更早)支持页面排名样式搜索来实现这一点。包括三个微服务、一个数据提取库和一个公共库。
- amundsenfrontendlibrary:前端服务,它是一个带有 React 前端的 Flask 应用程序。
- amundsensearchlibrary:利用 Elasticsearch 进行搜索功能的搜索服务用于支持前端元数据搜索。
- amundsenmetadatalibrary:元数据服务,利用 Neo4j 或 Apache Atlas 作为持久层,提供各种元数据。
- amundsendatabuilder : 用于构建元数据图和搜索索引的数据摄取库。用户可以使用带有库的 python 脚本或导入库的Airflow DAG加载数据。
- amundsencommon:Amundsen Common 库包含 Amundsen 微服务之间的通用代码。
- amundsengremlin:Amundsen Gremlin 库包含用于将模型对象转换为 gremlin 中的顶点和边的代码。它用于将数据加载到 AWS Neptune 后端。
- amundsenrds:Amundsenrds 包含 ORM 模型以支持关系数据库作为 Amundsen 中的元数据后端存储。ORM 模型中的模式遵循数据构建器模型的逻辑。Amundsenrds 将用于数据构建器和元数据库,用于关系数据库的元数据存储和检索。
主页
文档
要求
- Python = 3.6 或 3.7
- Node = v10 或 v12(v14 可能存在兼容性问题)
- npm >= 6
入门
请访问 Amundsen 安装文档以 快速开始 使用虚拟数据引导默认版本的 Amundsen。
Amundsen 是 LF AI & Data Foundation 的孵化阶段项目。
评论
Amundsen数据发现和元数据引擎
Amundsen是一个数据发现和元数据引擎,用于提高数据分析师、数据科学家和工程师在与数据交互时的工作效率。它通过索引数据资源(表、仪表板、流等)和基于使用模式(例如,查询次数多的表比次数少的表出现得
Amundsen数据发现和元数据引擎
0
WhereHows数据发现和管理工具
WhereHows是LinkedIn公司一个用于大数据发现和管理的工具,集成了所有主要的数据处理系统,可以进行分类收集和元数据操作。方便内部员工发现公司内部的数据,跟踪数据集的移动和查看各种内部工具和
WhereHows数据发现和管理工具
0
quickdbKey-Value数据引擎
quickdb是一款基于内存文件系统的HashTable数据结构的Key-Value数据引擎,什么是内存文件系统了?就是操作系统把系统内存划出一部分当作硬盘使用。你可以像操作磁盘那样的操作内存。但效率
quickdbKey-Value数据引擎
0
Metacat元数据发现服务框架
Metacat是一个联合的元数据 API服务,可以访问 Hive、RDS、Teradata、Redshift、S3和Cassandra。Metacat为您提供您所拥有的数据信息,包括位于何处以及如何处
Metacat元数据发现服务框架
0