理解机调用 ML 模型的 Spark SQL 框架
理解机(英文名为Liga,是“理解”的汉语吴音)是一个在SQL引擎中集成机器学习模型能力的通用框架。
理解机的设计目标是:模块化、可扩展、面向任意规模数据。
理解机的设计理念
- 理解机V0.2.x是基于Apache Spark实现的,这并不意味着理解机是一个基于Apache Spark的开源项目。Spark SQL仅仅是理解机这套框架想要适配的SQL引擎之一。同样,理解机V0.2.x支持MLflow这个模型注册系统,这并不意味着理解机只能用MLflow这个特定的模型注册系统。
- 理解机V0.2.x支持使用SQL语法将机器学习应用于大规模的数据集。由于模型注册系统可以将模型的训练和预测解耦。当下,我们专注于实现基于理解机框架的模型应用和服务化。
- 理解机是一个通用框架,并不限定具体的领域。视觉理解机是基于理解机框架实现的专注于计算机视觉领域的解决方案。未来,我们还会实现听觉、自然语言处理等领域的专用理解机解决方案。
理解机SQL扩展参考
SQL:创建模型
-- Create model
CREATE [OR REPLACE] MODEL model_name
[FLAVOR flavor]
[MODEL_TYPE model_type]
[OPTIONS (key1=value1,key2=value2,...)]
USING "uri";
SQL:管理模型
-- Describe model
{ DESC | DESCRIBE } MODEL model_name;
-- Show all models
SHOW MODELS;
-- Delete a model
DROP MODEL model_name;
历史
理解机源于ETO公司的Rikai项目,在第四次Tubi黑客马拉松中,理解机的作者们将Rikai项目中扩展Spark SQL实现调用机器学习模型的部分从Rikai项目剥离并重构。
评论
Astro Spark SQLHBase 的 Spark SQL
华为2015年7月20日在O'Reilly Open Source Convention (OSCO
Astro Spark SQLHBase 的 Spark SQL
0
Astro Spark SQLHBase 的 Spark SQL
华为2015年7月20日在O'ReillyOpenSourceConvention(OSCON)上宣布SparkSQLonHBasepackage正式开源。SparkSQLonHBasepackage
Astro Spark SQLHBase 的 Spark SQL
0
springboot-MQRPCRPC 调用框架
一个简单便捷的基于springboot+RabbitMQ中间件实现的RPC调用框架远程调用过程如下首先:消费者和生产者spring容器初始化的时候,会根据配置的的api在RabbitMQ上建立相应的队
springboot-MQRPCRPC 调用框架
0