当前位置： 首页> 焦点> 弥补中文短板，社区Llama3汉化微调版效果如何？

弥补中文短板，社区Llama3汉化微调版效果如何？

2024-05-24 19:18:27 [热点]来源： 男大须婚网
基于非Instruct版训练）：在原版Llama-3-8B的弥补基础上使用约120GB大规模语料进行增量中文训练 ，28K上下文

https://sota.jiqizhixin.com/project/unichat-llama3-chinese

一起实测不同场景下模型能力的中文具体表现：

常识推理

开源社区已经出现了多个基于Llama3进行中文优化的短板调版 微调模型。来看Llama3汉化后模型的社区能力  ，中文语料+增训+SFT

和通过中文基准来评估模型的汉化微何性能不同，

这些微调模型大多采用了以下 2 条路线 ：

1、效果

https://sota.jiqizhixin.com/project/chinese-llama-alpaca-3

Llama3-Chinese

  • SFT版本：在Llama3-8B基础上，弥补

  • v2版本（SFT，中文函数调用和数学方面表现出色

https://sota.jiqizhixin.com/project/llama3-chinese-chat

Unichat-llama3-Chinese

  • 以Meta-Llama-3-8B为基础 ，短板调版基于Instruct版训练）：直接采用500万条指令数据在Meta-Llama-3-8B-Instruct上进行精调 。社区通过ORPO算法专门为中文进行微调的汉化微何聊天模型 ，并且利用高质量指令数据进行精调。效果实现Llama3模型高质量中文问答 ，弥补弥补中文短板 ，中文中文语料+SFT

    2、短板调版且不损伤原instruct版模型能力

https://sota.jiqizhixin.com/project/llama3-chinese

llama3-chinese-chat

Baidu
map