EvalsOpenAI 模型评估框架
Evals 是一个评估 OpenAI 模型的框架和一个开源的基准测试注册表,你可以使用 Evals 来创建和运行评估:
- 使用数据集来生成提示信息
- 衡量 OpenAI 模型所提供的完成度的质量
- 比较不同数据集和模型的性能
Evals 的目标是使建立一个评估尽可能简单,同时编写尽可能少的代码。要开始使用,建议你依次按照以下步骤进行:
- 通读本文档,并遵循下面的设置说明。
- 了解如何运行现有的评价:run-evals.md
- 熟悉现有的评估模板:eval-templates.md
- 了解构建评估的过程:build-eval.md
- 看一个实现自定义评价逻辑的例子:custom-eval.md。
设置
要运行评估,需要设置并指定您的 OpenAI API 密钥。获取 API 密钥后,使用 OPENAI_API_KEY
环境变量指定它。
下载评估
Evals 注册表使用 Git-LFS 存储,下载并安装 LFS 后,可以通过以下方式获取评估:
git lfs fetch --all git lfs pull
你可能只想为选择的评估获取数据,则可以通过以下方式实现:
git lfs fetch --include=evals/registry/data/${your eval} git lfs pull
进行评估
如果您要创建评估,建议直接从 GitHub 克隆此仓库并使用以下命令安装要求:
pip install -e .
使用 -e
,对 eval 所做的更改将立即反映出来,而无需重新安装。
评论
ASEFAndroid 安全评估框架
AndroidSecurityEvaluationFramework(ASEF)是Android安全评估框架,在提醒你有异常的时候执行分析,让你知道应用的异常活动,暴露有漏洞的组件。ASEF是开源的A
ASEFAndroid 安全评估框架
0
MOFScript模型转换框架
MOFScript主要的目的是开发支持模型到文本转换的工具和框架。比如支持从模型生成代码或文档等。它提供一个元模型未知的框架,这个框架能够使用任何类型的元模型和它的实例来生成文本。它的特性包括从基于M
MOFScript模型转换框架
0