DayNightStudy

规划一系列行动以实现期望状态的能力，长期以来被认为是智能体的核心能力，并且自AI研究诞生以来一直是其不可分割的一部分。随着大型语言模型（LLMs）的出现，人们对于它们是否拥有此类规划能力产生了相当大的兴趣。PlanBench是我们在2022年开发的一款可扩展基准测试工具，自GPT3发布后不久首次亮相

论文阅读 | Scaling Laws for Transfer作者：张义策文章地址：https://zhuanlan.zhihu.com/p/710594520An Empirical Study of Scaling Laws for Transfer论文地址：https://arxiv.org

大模型 RAG 实战教程 之 RAG潘多拉宝盒https://github.com/km1994/AwesomeRAG一、LLMs 已经具备了较强能力了，为什么还需要 RAG(检索增强生成)?尽管 LLM 已展现出显著的能力，但以下几个挑战依然值得关注：幻觉问题：LLM 采用基于统计的概率方法逐词生

《AIGC面试宝典》欢迎你的加入《AIGC面试宝典》星球主要是作者的一些学习成果和资料分享。今年十月 AIGC面经 （准备发稿）八-九月 AiGC 实践教程 —AiGC摩天大楼（争取把所有AiGC任务都刷一遍）七月 大模型推理加速教程六月 Agent实战教程— Agent千机变六月 大模型训练系列五

笔记整理：李冰慧，天津大学硕士，研究方向为大语言模型论文链接：https://aclanthology.org/2024.acl-long.579/发表会议：ACL20241. 动机使用大型语言模型（LLMs）的多模态推理经常会出现幻觉，并且在LLMs中存在缺乏或过时的知识。一些方法试图通过使用文本

NO.1国产AI模型登顶全球TOP 1！智源BGE下载破亿成Hugging Face月榜冠军近日，Hugging Face更新了月度榜单，智源研究院的 BGE 模型登顶榜首，这是中国国产AI模型首次成为Hugging Face月榜冠军。BGE 在短短一年时间内，总下载量

一、DPO在做一件什么事在文章的开始，我们来思考一个问题：如果想让你训练一个能听得懂人类问题，并给出人类满意答案的模型，你会怎么设计大致的训练步骤？一口吃成一个大胖子是困难的，所以不如让我们循序渐进地来设计这个训练过程：首先，你的模型必须要有充足的知识储备，以应对你可能提出的任何问题其次，你的模型需

!! 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面无不过 面试交流群

【LLMs九层妖塔】分享 LLMs在自然语言处理（ChatGLM、Chinese-LLaMA-Alpaca、小羊驼 Vicuna、LLaMA、GPT4ALL等）、信息检索（langchain）、语言合成、语言识别、多模态等领域（Stable Diffusion、MiniGPT-4、VisualGLM

!! 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面无不过 面试交流群

知识星球服务1. 知识星球学习指南服务：如果你在知识星球遇到什么问题，可以群里面反馈，小弟看到后会及时回答；2. 内容答疑：如果在学习过程中遇到问题，可以在群里面提出了，小弟看到后会及时回答；3. 就业指导：如果还再找工作，可以帮忙提供就业指导 和 简历修改和建议 等；知识星球干货

LLM训练-pretrain作者：ybq原文地址：https://zhuanlan.zhihu.com/p/718354385这篇文章介绍下如何从零到一进行 pretrain 工作。类似的文章应该有很多，不同的地方可能在于，我并不会去分析 pretrain 阶段的核心技术，而是用比较朴素的语言来描述

介绍：本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含 自然语言处理各领域的 面试题积累。Github 地址：https://github.com/km1994/NLP-Interview-NotesNLP 面无不过 面试交流群 (注：人满 可

大模型 RAG 实战教程 之 RAG潘多拉宝盒https://github.com/km1994/AwesomeRAG一、LLMs 已经具备了较强能力了，为什么还需要 RAG(检索增强生成)?尽管 LLM 已展现出显著的能力，但以下几个挑战依然值得关注：幻觉问题：LLM 采用基于统计的概率方法逐词生

NLP菜鸟逆袭记：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介绍：【NLP菜鸟逆袭】分享 自然语言处理（文本分类、信息抽取、知识图谱

介绍：本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含 自然语言处理各领域的 面试题积累。Github 地址：https://github.com/km1994/NLP-Interview-NotesNLP 面无不过 面试交流群 (注：人满 可

!! 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面无不过 面试交流群

微调大模型前，如何重写SFT数据？作者：张义策文章地址：https://zhuanlan.zhihu.com/p/710594520Self-Distillation Bridges Distribution Gap in Language Model Fine-Tuning论文地址：https:/

知识星球服务1. 知识星球学习指南服务：如果你在知识星球遇到什么问题，可以群里面反馈，小弟看到后会及时回答；2. 内容答疑：如果在学习过程中遇到问题，可以在群里面提出了，小弟看到后会及时回答；3. 就业指导：如果还再找工作，可以帮忙提供就业指导 和 简历修改和建议 等；知识星球干货

大模型 RAG 实战教程 之 RAG潘多拉宝盒https://github.com/km1994/AwesomeRAG一、LLMs 已经具备了较强能力了，为什么还需要 RAG(检索增强生成)?尽管 LLM 已展现出显著的能力，但以下几个挑战依然值得关注：幻觉问题：LLM 采用基于统计的概率方法逐词生

NLP菜鸟逆袭记：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介绍：【NLP菜鸟逆袭】分享 自然语言处理（文本分类、信息抽取、知识图谱

【LLMs九层妖塔】分享 LLMs在自然语言处理（ChatGLM、Chinese-LLaMA-Alpaca、小羊驼 Vicuna、LLaMA、GPT4ALL等）、信息检索（langchain）、语言合成、语言识别、多模态等领域（Stable Diffusion、MiniGPT-4、VisualGLM

【LLMs九层妖塔】分享 LLMs在自然语言处理（ChatGLM、Chinese-LLaMA-Alpaca、小羊驼 Vicuna、LLaMA、GPT4ALL等）、信息检索（langchain）、语言合成、语言识别、多模态等领域（Stable Diffusion、MiniGPT-4、VisualGLM

大模型 RAG 实战教程 之 RAG潘多拉宝盒https://github.com/km1994/AwesomeRAG一、LLMs 已经具备了较强能力了，为什么还需要 RAG(检索增强生成)?尽管 LLM 已展现出显著的能力，但以下几个挑战依然值得关注：幻觉问题：LLM 采用基于统计的概率方法逐词生

!! 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面无不过 面试交流群

介绍：本项目是作者们根据个人面试和经验总结出的自然语言处理(NLP)面试准备的学习笔记与资料，该资料目前包含 自然语言处理各领域的 面试题积累。Github 地址：https://github.com/km1994/NLP-Interview-NotesNLP 面无不过 面试交流群 (注：人满 可

NLP菜鸟逆袭记：地址：Github地址：https://github.com/km1994/AwesomeNLPdGitee 地址：https://gitee.com/km601/AwesomeNLP_gitee x介绍：【NLP菜鸟逆袭】分享 自然语言处理（文本分类、信息抽取、知识图谱

知识星球服务1. 知识星球学习指南服务：如果你在知识星球遇到什么问题，可以群里面反馈，小弟看到后会及时回答；2. 内容答疑：如果在学习过程中遇到问题，可以在群里面提出了，小弟看到后会及时回答；3. 就业指导：如果还再找工作，可以帮忙提供就业指导 和 简历修改和建议 等；知识星球干货

!! 介绍：本项目是作者们根据个人面试和经验总结出的 大模型(LLMs)面试准备的学习笔记与资料，该资料目前包含 大模型(LLMs)各领域的 面试题积累。Github 地址：https://github.com/km1994/LLMs_interview_notes!! NLP 面无不过 面试交流群

作者：ybq 原文地址：https://www.zhihu.com/question/599396505/answer/3583853852这篇文章对如何进行领域模型训练进行一个简单的探讨，主要内容是对 post-pretrain 阶段进行分析，后续的 Alignment 阶段就先不提了