StarCoder代码生成语言模型
StarCoder（150 亿参数）是 Hugging Face 联合 ServiceNow 发布的免费大型语言模型，该模型经过训练主要用途是可以生成代码，目的是为了对抗 GitHub Copilot 和亚马逊 CodeWhisperer 等基于 AI 的编程工具。
其训练数据包含 80 多种不同的编程语言以及从 GitHub 中提取的文本。
安装
首先，我们必须安装 requirements.txt 中列出的所有库
pip install -r requirements.txt
代码生成
代码生成 pipeline 如下
from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "bigcode/starcoder"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
# to save memory consider using fp16 or bf16 by specifying torch.dtype=torch.float16 for example
model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("def print_hello_world():", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))
或者
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
checkpoint = "bigcode/starcoder"
model = AutoModelForCausalLM.from_pretrained(checkpoint)
tokenizer = AutoTokenizer.from_pretrained(checkpoint)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device=0)
print( pipe("def hello():") )
评论
CodeGeeX多语言代码生成模型
CodeGeeX是一个具有130亿参数的多编程语言代码生成预训练模型。CodeGeeX采用华为MindSpore框架实现，在鹏城实验室“鹏城云脑II”中的192个节点（共1536个国产昇腾910AI处
CodeGeeX多语言代码生成模型
0
CodeFuse-13B代码大语言模型
CodeFuse-13B是基于GPT-NeoX框架训练的13B参数代码生成模型，能够处理4096个字符的代码序列。该模型在1000BToken的代码、中文、英文数据数据集上进行预训练，覆盖超过40种编
CodeFuse-13B代码大语言模型
0
CodeGeeX2更强大的多语言代码生成模型
CodeGeeX2是多语言代码生成模型 CodeGeeX (KDD’23)的第二代模型。不同于一代CodeGeeX（完全在国产华为昇腾芯片平台训练），CodeGeeX2是基于 ChatGLM2 架构注
CodeGeeX2更强大的多语言代码生成模型
0