datastream.io实时异常检测的开源框架

联合创作 · 2023-09-30 08:58

使用 Python,Elasticsearch 和 Kibana 进行实时异常检测的开源框架。

该项目的目的是执行以下功能:

  • 消耗从各种文件和流格式的数据。

  • 实时转换数据流以获取感兴趣的统计信息,如聚合,计数,会话,分组或提取功能。

  • 通过无监督的机器学习对产生的流进行建模,以全局或者在设备/用户层面捕获正常的基线行为。

  • 通过将每个新事件与基准模型进行比较来评分。

  • 在轻量级可定制仪表板上可视化异常事件,并且轻量级的后端。

安装

推荐的安装方法是在 Python 3.x virtalenv 中使用 pip。

virtualenv --python=python3 dsio-env
source dsio-env/bin/activate
pip install -e git+https://github.com/MentatInnovations/datastream.io#egg=dsio

用法

您可以通过命令行使用 dsio 或将其导入到您的 Python 代码中。您可以使用内置的 Bokeh 服务器可视化您的数据流,也可以将它们重新定位到 Elasticsearch,并使用 Kibana 对其进行可视化。在任何一种情况下,dsio 都会为您的数据流生成适当的仪表板。另外,如果您通过 Jupyter 笔记本调用 dsio,则会将流式 Bokeh 仪表板嵌入到同一个笔记本中。

Jupyter

浏览 10
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报