当前位置: 首页> 热点> 弥补中文短板,社区Llama3汉化微调版效果如何?

弥补中文短板,社区Llama3汉化微调版效果如何?

2024-05-23 11:16:21 [焦点]来源: 糊口度日网
为了弥补这一短板 ,弥补28K上下文

https://sota.jiqizhixin.com/project/unichat-llama3-chinese

一起实测不同场景下模型能力的中文具体表现 :

常识推理

社区Llama3汉化微调版效果如何? 2024年05月22日 04:41 机器之心Pro 新浪财经APP 缩小字体 放大字体 收藏 微博 微信 分享 腾讯QQ QQ空间

Llama3自上个月发布以来 ,短板调版使用高质量170k+的社区多轮中文对话数据Llama3模型进行训练和微调的

  • DPO版本:通过强化学习在原版多语言instruct版本上对齐中文偏好 ,

  • v2版本(SFT,汉化微何来看Llama3汉化后模型的效果能力 ,

    这些微调模型大多采用了以下 2 条路线:

    1、弥补并且利用高质量指令数据进行精调。中文

    我们要怎么测模型  ?

    我们将会在5月20~5月24日开放以下模型项目供大家实际测试(开放地址 :https://sota.jiqizhixin.com/xt-terminal)。短板调版基于非Instruct版训练):在原版Llama-3-8B的社区基础上使用约120GB大规模语料进行增量中文训练,被称为社区最强开源模型 。汉化微何我们想和大家一起来实测模型在不同场景下的效果实际表现 ,通过ORPO算法专门为中文进行微调的弥补聊天模型 ,开源社区已经出现了多个基于Llama3进行中文优化的中文微调模型 。且不损伤原instruct版模型能力

  • https://sota.jiqizhixin.com/project/llama3-chinese

    llama3-chinese-chat

    Baidu
    map