开源聊天机器人 Vicuna-13B 质量评估表现接近 ChatGPT 九成:全球报道
来源:站长之家     时间:2023-03-31 17:09:57


(相关资料图)

站长之家(ChinaZ.com) 3月31日消息:加州伯克利、斯坦福、卡内基梅隆和加州圣迭戈的研究团队发布了开源的聊天机器人 Vicuna-13B,该机器人基于 Meta 的大语言模型 LLaMA,并使用用户通过 ShareGPT 分享的 7 万对话样本进行了微调。

开源的聊天机器人 Vicuna-13B 对比测试使用了 OpenAI 的 GPT-4 作为裁判,结果显示 Vicuna-13B 在质量评估方面的表现接近 ChatGPT,达到了九成以上的准确率。而且,Vicuna-13B 的训练成本仅为 300 美元。该聊天机器人的代码采用了 Apache License 2.0 许可证,研究人员计划公开其模型权重。

此前 Meta 发布全新大型语言模型 LLaMA 时介绍称,LLaMA 有 4 种不同大小的模型,分别是 70 亿、 130 亿、 330 亿和 650 亿参数。其中最小的 LLaMA7B 也用了超过 1 万亿个 tokens 来训练。

Meta 说,在很多基准测试中,只有十分之一参数的 LLaMA-13B 比 OpenAI 的 GPT3(175B)还要好。GPT3 是 ChatGPT 所用的 GPT3. 5 的前身。LLaMa-65B 也可以和业界最好的 Chinchilla-70B 和 PaLM-540B 比拼。

(举报)

关键词: