一键部署,玩转AI!天翼云Llama 3大模型学习机来了!

Tianyiyun · · 236 次点击 · · 开始浏览    

近日,Meta公司发布了其最新研发成果——开源大模型Llama 3,共包含Llama 3 8B和Llama 3 70B两种规格,参数量级分别为80亿与700亿,并表示这是目前同体量下性能最好的开源模型。相较于前代产品Llama 2,Llama 3在预训练数据上扩大了整整7倍(达到15T tokens),并且在数据质量与训练方式上也进行了深度优化,这无疑为开源大型语言模型(LLM)领域发展再次书写了辉煌篇章。

为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术,天翼云基于开源的Meta-Llama-3-8B-Instruct模型以及text-generation-webui框架, 搭建了一键部署、开箱即用的云主机镜像。同时,天翼云CPU/GPU云主机近期即将上线Llama 3大模型学习机,期望能够成为帮助用户打开大模型领域之门的第一把钥匙,让更多用户从此了解大模型、学习使用大模型,并利用大模型创造更多可能。

天翼云弹性云主机具备快捷易用、配置丰富、专有网络、安全稳定、多种镜像、高效管理和高性价比等优势,能够为用户提供优质服务体验。云主机支持动态调整计算资源,提供多种实例规格和存储类型,满足用户多元化业务需求;拥有灵活自定义的网络空间,以及多重安全防护,全面保障数据可靠性,助力业务批量快速部署。用户可以通过多种管理方式和多维度监控实现高效管理,并可根据需要灵活选择计费模式,享受专业运营团队的7*24小时服务。此外,天翼云还提供多样异构芯片和计算模型,为用户提供更优算力选择。

通过以下步骤,用户即可基于天翼云主机快速搭建Llama 3的推理或微调环境:

(1) 登录天翼云主机控制台https://console.ctyun.cn/console/index/#/ecm/ecmList;

(2) 创建云主机, 使用指定的规格与Llama 3镜像, 具体可参考部署文档https://www.ctyun.cn/document/10026730/10495072;

(3) 从浏览器登录到学习机页面, 使用Llama 3模型。

天翼云Llama 3大模型学习机在一键部署的基础上还提供以下各类功能, 戳官网还有更详细的帮助文档和教学视频哦!

(1)模型加载:支持加载主流基于transformers框架的模型,只需将模型下载并放置到指定目录下, 无需其他操作,镜像内已预装Llama 3模型;

(2)模型推理:支持使用大语言模型进行多轮对话与文本生成,且支持多人同时使用;

(3)推理参数修改:支持修改大语言模型在推理时控制结果走向的temperature, top_k, top_p等参数;

(4)模型微调:支持基于基础大模型和私有数据,微调训练自己的LoRA小模型,使用小模型进行推理。

访问下方网址解锁更多相关功能!

https://www.ctyun.cn/document/10026730/10495063

 

通过天翼云大模型学习机

即可实现Llama 3的丝滑应用

除了目前已发布的两种规格,Meta公司宣布一个参数量超过400B的巨量Llama 3也在训练中,并可能会在接下来的几个月内发布。可以预期,Llama 3-400B将会继续推动大语言模型发展迈上新台阶。

在通用人工智能领域蓬勃发展的今天,天翼云将持续坚持科技创新,为行业用户提供可快速搭建大型模型推理或微调环境的解决方案,以及高性能的AI算力集群,助力AIGC产业实现降本增效,进而推动整个行业的繁荣发展。

236 次点击  
加入收藏 微博
暂无回复
添加一条新回复 (您需要 登录 后才能回复 没有账号 ?)
  • 请尽量让自己的回复能够对别人有帮助
  • 支持 Markdown 格式, **粗体**、~~删除线~~、`单行代码`
  • 支持 @ 本站用户;支持表情(输入 : 提示),见 Emoji cheat sheet
  • 图片支持拖拽、截图粘贴等方式上传