LlaMA
Hugging News #0724: Llama 2 登陆 Hugging Face、AI 开源游戏竞赛获奖选手公布！
每一周，我们的同事都会向社区的成员们发布一些关于 Hugging Face 相关的更新，包括我们的产品和平台更新、社区活动、学习资源和内容更新、开源库和模型更新等，我们将其称之为「Hugging News」。本期 Hugging News 有哪些有趣的消息，快来看看吧！ 🎉😍 ## 重点内容 # ......
技术速览｜Meta Llama 2 下一代开源大型语言模型
Meta Llama 2 旨在与 OpenAI 的 ChatGPT 和 Google Bard 等其他著名语言模型对标，但又具有独特优势。在本文中，我们将聊聊 Llama 2 是什么、它的优势是什么、是如何开发的、以及如何开始上手使用。 ......
llama2 笔记 其一 “跑起来再说”
Meta 的 llama2 这几天开源出来了，并且内部训练的模型权重也可以开放商业使用，准备尝试在本地运行，记录一下折腾过程。 进行评估。此外还将介绍如何使用grado应用程序部署和测试模型。 ......
【转】一文看懂 LLaMA 中的旋转式位置编码（Rotary Position Embedding）
原文：https://mp.weixin.qq.com/s/0peSNWN0ypMopPR0Q_pujQ  ......
LLaMA模型指令微调 字节跳动多模态视频大模型 Valley 论文详解
Valley: Video Assistant with Large Language model Enhanced abilitY  项目代码： 博客介绍： ## Alpaca 总览 Alpaca ......
LLaMA模型微调版本 Vicuna 和 Stable Vicuna 解读
获得了极大的关注，这些模型创造了令人兴奋的前景，特别是对于从事聊天机器人、个人助理和内容创作的开发人员。 大型语言模型(llm)是指能够生成与人类语言非常相似的文本并以自然方式理解提示的机器学习模型。这些模型使用广泛的数据集进行训练，这些数据集包括书籍、文章、 ......
MosaicML 推出 30B 模型 — 挑战 LLaMA、Falcon 和 GPT
 MosaicML正在推出其第二个开源大型语言模型（LLM），称为MPT-30B，这是继五月份首次推出的较 ......
Video-LLaMa:利用多模态增强对视频内容理解
在数字时代，视频已经成为一种主要的内容形式。但是理解和解释视频内容是一项复杂的任务，不仅需要视觉和听觉信号的整合，还需要处理上下文的时间序列的能力。本文将重点介绍称为video - llama的多模态框架。Video-LLaMA旨在使LLM能够理解视频中的视觉和听觉内容。论文设计了两个分支，即视觉语 ......
ChatDoctor：一个基于微调LLaMA模型用于医学领域的医学聊天机器人
ChatDoctor：一个基于微调LLaMA模型用于医学领域的医学聊天机器人 https://www.yunxiangli.top/ChatDoctor/ 资源列表 Demo.自动聊天医生与疾病数据库演示。 HealthCareMagic-100k.100k患者和医生之间的真实的对话HealthCa ......
Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA
一、项目背景 We introduce Vicuna-13B, an open-source chatbot trained by fine-tuning LLaMA on user-shared conversations collected from ShareGPT. Preliminary ......
LLaMA（Open and Efficient Foundation Language Models）学习
一、论文学习 原文链接：https://arxiv.org/pdf/2302.13971.pdf 0x1：引言 在大语料上训练得到的大语言模型(LLM)已经展示了它们的实力，在few-shot特性展现之后，有一系列的工作都关注于提高这些模型的规模。它们的努力是基于更多的参数可以带来更好的性能的假设之 ......
Chinese-LLaMA-Alpaca技术报告
EFFICIENT AND EFFECTIVE TEXT ENCODING FOR CHINESE LL AMA AND ALPACA https://arxiv.org/pdf/2304.08177v1.pdf https://github.com/ymcui/Chinese-LLaMA-Alpa ......
大模型入门（三）—— 单张A100微调LLAMA-7B
单张V100的GPU内存只有16G，LLAMA-7B模型大小就有约27G，在单张16G的V100上微调LLAMA-7B呢？这里需要用到几个技巧：1）lora微调；2）混合精度训练；3）梯度累积。目前github上已经有不少用lora微调llama的代码，但基本都是完全基于hugging face的库 ......
基于LLaMA的指令微调模型--Alpaca（大羊驼），Vicuna（小羊驼）
Alpaca-7B 文章：https://crfm.stanford.edu/2023/03/13/alpaca.html 想要在预算内训练一个高质量的指令微调模型，就必须面临2个重要的挑战： 一个强大的预训练语言模型 LLaMA 一个高质量的指令遵循数据 Self-Instruct: Aligni ......
大模型入门（一）—— LLaMa/Alpaca/Vicuna
LLaMa模型是Meta开源的大模型，模型参数从7B到65B不等，LLaMa-7B在大多数基准测试上超过了GPT3-173B，而LLaMa-65B和Chinchilla-70B、PaLM-540B相比也极具竞争力。相比于ChatGPT或者GPT4来说，LLaMa可能效果上还有差距，但相比Closed ......
LLaMA：开放和高效的基础语言模型
LLaMA：开放和高效的基础语言模型 论文：https://arxiv.org/pdf/2302.13971.pdf 代码：https://github.com/facebookresearch/llama 前言 我们介绍了LLaMA，这是一个参数范围从7B到65B的基础语言模型集合。我们在数以万亿 ......
[Ai] 通过llama.cpp与羊驼聊天的网页界面- 详解 Serge 的启动使用
1. 官方指导是使用如下命令直接运行： $ docker run -d -v weights:/usr/src/app/weights -v datadb:/data/db/ -p 8008:8008 ghcr.io/nsarrazin/serge:latest 随后打开地址 localhost:8 ......
【读论文】LLaMA: Open and Efficient Foundation Language Models
论文：LLaMA: Open and Efficient Foundation Language Models 模型代码：https://github.com/facebookresearch/llama/blob/main/llama/model.py 你也可以打开之前的目录看完整代码。 摘要、介 ......
Meta最新语言模型LLaMA解读
导师最近关注热门的大规模语言模型，如ChatGPT等。本文调研了Meta最新发布的语言模型，解读了模型结构和部署方法，分享以供NLP方向同学研究参考。 ......