Towhee开源 embedding 框架
Towhee 是一个开源的 embedding 框架,包含丰富的数据处理算法与神经网络模型。通过 Towhee,能够轻松地处理非结构化数据(如图片、视频、音频、长文本等),完成原始数据到向量的转换。
Towhee 系统整体上由两部分组成,分别是云上的 Towhee hub,以及驱动具体流水线执行的执行框架。与之对应,Towhee 技术社区的工作也聚焦在流水线执行与流水线内容这两方面。一方面,执行框架主要解决流水线的图表示、图构建、多平台部署、数据并行、执行调度、本地资源管理等关键系统问题。另一方面,Towhee hub 面向社区提供 embedding 流水线与算子的托管服务,构建内容丰富的内容共享与交流平台。
评论