JZTXT

TRANSFORMER

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

前言 从四篇论文入手，Sebastian 再谈 Transformer 架构图。 本文转载自机器之心 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
新作 Transformer 注意力 机制

Transformer原论文

## 相关工作文献阅读与总结 ### Attention Is All You Need [知乎笔记](https://zhuanlan.zhihu.com/p/407012757) #### 摘要 **dominant sequence transduction 显性序列转导模型** 传统的：基于 ......
Transformer 论文

最好的Transformer讲解:The Illustrated Transformer + The Annotated Transformer

The Illustrated Transformer https://jalammar.github.io/illustrated-transformer/ The Annotated Transformer http://nlp.seas.harvard.edu/annotated-transf ......
Transformer Illustrated The Annotated 最好

田渊栋新作：打开1层Transformer黑盒，注意力机制没那么神秘

前言 AI理论再进一步，破解ChatGPT指日可待？ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV全栈指导班、基础入门班、论文指 ......
新作 Transformer 注意力 机制

【归一化】Transformer、ConvNeXt 中的 LayerNorm

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.13 > - ⏰最近更新时间：2023.6.13 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
Transformer LayerNorm ConvNeXt

[重读经典论文] Swin-Transformer

参考博客：Swin-Transformer网络结构详解参考视频：12.1 Swin-Transformer网络结构详解使用了类似卷积神经网络中的层次化构建方法（Hierarchical feature maps），比如特征图尺寸中有对图像下采样4倍的，8倍的以及16倍的，这样的backbone有助于 ......
Swin-Transformer Transformer 经典 论文 Swin

【论文阅读】Pyramid Vision Transformer：A Versatile Backbone for Dense Prediction Without Convolutions

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.11 > - ⏰最近更新时间：2023.6.11 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果 ......
Convolutions Transformer Prediction Versatile Backbone

【论文阅读】Uformer：A General U-Shaped Transformer for Image Restoration

> # 🚩前言 > > - 🐳博客主页：😚[睡晚不猿序程](https://www.cnblogs.com/whp135/)😚 > - ⌚首发时间：2023.6.8 > - ⏰最近更新时间：2023.6.8 > - 🙆本文由 **睡晚不猿序程** 原创 > - 🤡作者是蒻蒟本蒟，如果文章 ......
Restoration Transformer U-Shaped Uformer General

transformer预测ENSO(Sci.Adv.,2023-3-8)

预测对象：三维海洋上层温度异常、风应力异常 预测期：18个月 特点：由于考虑了风，所以一定程度上认为耦合了海气动力学 变量：该模型考虑了三个变量，径向/纬向风应力，以及上层海洋温度（共七层，5，20，40，60，90，120，150） 参数设置：全部变量叠加到一起是九层，一起输入模型。每一层是以ch ......
transformer ENSO 2023 Adv Sci

Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2

前言 本文首先详细介绍Transformer的基本结构，然后再通过GPT、BERT、MT-DNN以及GPT-2等基于Transformer的知名应用工作的介绍并附上GitHub链接，看看Transformer是如何在各个著名的模型中大显神威的。 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢 ......
Transformer GPT 结构 MT-DNN BERT

02.transformer

transformer--seq2seq transformer说白了就是一个sequence-to-sequence的模型，输入一个sequence，输出一个sequence，并且由机器自己决定要输出的长度是多少，比如语音辨识、机器翻译、语音翻译等任务，输出的sequence都是由机器自己决定。 ......
transformer 02

大模型核心技术原理: Transformer架构详解

在大模型发展历程中，有两个比较重要点：第一，Transformer 架构。它是模型的底座，但 Transformer 不等于大模型，但大模型的架构可以基于 Transformer；第二，GPT。严格意义上讲，GPT 可能不算是一个模型，更像是一种预训练范式，它本身模型架构是基于 Transforme ......
Transformer 架构 模型 原理 核心

Incrementer：Transformer for Class-Incremental Semantic Segmentation with Knowledge Distillation Focusing on Old Class论文阅读笔记

## 摘要 目前已有的连续语义分割方法通常基于卷积神经网络，需要添加额外的卷积层来分辨新类别，且在蒸馏特征时没有对属于旧类别/新类别的区域加以区分。为此，作者提出了基于Transformer的网络incrementer，在学习新类别时只需要往decoder中加入对应的token。同时，作者还提出了对 ......
Class Class-Incremental Distillation Segmentation Incrementer

RWKV – transformer 与 RNN 的强强联合

在 NLP (Natural Language Processing, 自然语言处理) 领域，ChatGPT 和其他的聊天机器人应用引起了极大的关注。每个社区为构建自己的应用，也都在持续地寻求强大、可靠的开源模型。自 Vaswani 等人于 2017 年首次提出 [Attention Is All ......
transformer RWKV RNN

比Transformer快4成！Meta发布全新Megabyte模型，解决算力损耗硬伤

前言 本文介绍了vanilla KD方法，它在ImageNet数据集上刷新了多个模型的精度记录。 本文转载自新智元 作者 | Joey 欢迎关注公众号CV技术指南，专注于计算机视觉的技术总结、最新技术跟踪、经典论文解读、CV招聘信息。 CV各大方向专栏与各个部署框架最全教程整理 【CV技术指南】CV ......
决算 Transformer Megabyte 模型 全新

ICML 2023 | 轻量级视觉Transformer (ViT) 的预训练实践手册

前言 本文介绍一下最近被 ICML 2023 接收的文章：A Closer Look at Self-Supervised Lightweight Vision Transformers.文章聚焦在轻量级 ViT 的预训练上，相当于为相关方向的研究提供了一个 benchmark，相关的代码与模型也都 ......
轻量 轻量级 Transformer 视觉 手册

【研究生学习】Transformer模型以及Pytorch实现

Transformer是Google在2017年提出的网络架构，仅依赖于注意力机制就可以处理序列数据，从而可以不使用RNN或CNN。当前非常热门的BERT模型就是基于Transformer构建的，本篇博客将介绍Transformer的基本原理，以及其在Pytorch上的实现。 ......
Transformer 模型 研究生 Pytorch

加餐-基于Transformer实现中译英（tf2.x）

# 1.项目概述 > 本实例使用Transformer这个强大的特征提取工具，把英文翻译成中文。具体步骤先构建Transorformer架构，然后训练模型、评估模型，最后使用几个英文语句测试模型效果。 > > 为便于训练，这里训练数据仅使用使用TensorFlow2上的wmt19_translate ......
中译英 Transformer tf2 tf

免注意力Transformer (AFT)：使用逐元素乘积而不是点积

注意力机制作为现代深度学习模型的基石，能够毫不费力地对长期依赖进行建模，并关注输入序列中的相关信息。然而，需要点积自注意力 - 广泛使用在Transformer架构中的一个关键组件 - 已被证明在序列长度方面具有二次空间复杂度，因此不适用于处理长输入。在本文中，我们介绍了Attention Free ......
乘积 Transformer 注意力 元素 AFT

Transformer 模型中的positional encoding(位置编码)计算理解(2)

以下（以上）内容来自(参考): https://www.bilibili.com/video/BV1Di4y1c7Zm?p=2&vd_source=6292df769fba3b00eb2ff1859b99d79e import numpy as np def getPositionEncoding( ......
Transformer positional encoding 模型 编码

Transformer 估算 101

Transformer 估算 101 本文主要介绍用于估算 transformer 类模型计算量需求和内存需求的相关数学方法。 引言 其实，很多有关 transformer 语言模型的一些基本且重要的信息都可以用很简单的方法估算出来。不幸的是，这些公式在 NLP 社区中鲜为人知。本文的目的是总结这些 ......
Transformer 101

Pytorch-Vanilla Transformer的实现

Vanilla Transformer 注意力提示 ​ 我们可以将是否包含自主性提示作为将注意力机制与全连接层或汇聚层区别的标准。 ​ 定义外部输入至感官的信息为键-值，键是表征值的非自主提示，关注信息为查询（自主性提示） 非自主提示：决策选择偏向于感官输入值，可使用参数化的全连接层或非参数化的最大 ......
Pytorch-Vanilla Transformer Pytorch Vanilla

Pytorch-Vanilla Transformer的实现

Vanilla Transformer 注意力提示 ​ 我们可以将是否包含自主性提示作为将注意力机制与全连接层或汇聚层区别的标准。 ​ 定义外部输入至感官的信息为键-值，键是表征值的非自主提示，关注信息为查询（自主性提示） 非自主提示：决策选择偏向于感官输入值，可使用参数化的全连接层或非参数化的最大 ......
Pytorch-Vanilla Transformer Pytorch Vanilla

2023AAAI_Ultra-High-Definition Low-Light Image Enhancement: A Benchmark and Transformer-Based Method(LLformer)

一. motivition 1. 之前的数据集分辨率较低 二. contribution 1. 提出两个超高清数据集UHD-4k和UHD-8k 2. 网络结构LLFormer(网络结构类似2022CVPR_Restormer: Effificient Transformer forHigh-Reso ......
AAAI_Ultra-High-Definition Transformer-Based Enhancement Transformer Definition

Transformer学习

Transformer学习 此帖用于整理回顾自己学transformer的一些问题和知识 极好的博客和资料： Transformer 模型详解-CSDN博客：原理讲的很清楚 举个例子讲下transformer的输入输出细节及其他 - 知乎 (zhihu.com)：讲的是输入输出的细节 Transfo ......
Transformer

李宏毅transformer笔记

首先这里解决的问题是Seq2Seq 列出各种场景，语音识别，机器翻译，chatbot 当前现在NLP模型之所以这么重要，在于他的通用能力，很多场景都可以转换成Seq2Seq summary，情感分析啊，只要你能通过QA和机器交互的场景都可以是Seq2Seq 这里的例子，语法树解析，多元分类，甚至是对 ......
transformer 笔记

【阅读】Transformer

参考 Attention Is All You Need A General Survey on Attention Mechanisms in Deep Learning 注意力足矣（Attention Is All You Need） 一般注意力模型 这个模型接受一个输入，执行指定的任务，然后产 ......
Transformer

Swin transformer环境

pip install torch==1.7.0+cu101 torchvision==0.8.1+cu101 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html pip install mmcv-full= ......
transformer 环境 Swin

大规模 Transformer 模型 8 比特矩阵乘简介 - 基于 Hugging Face Transformers、Accelerate 以及 bitsandbytes

引言 语言模型一直在变大。截至撰写本文时，PaLM 有 5400 亿参数，OPT、GPT-3 和 BLOOM 有大约 1760 亿参数，而且我们仍在继续朝着更大的模型发展。下图总结了最近的一些语言模型的尺寸。 由于这些模型很大，因此它们很难在一般的设备上运行。举个例子，仅推理 BLOOM-176B ......
矩阵 Transformers bitsandbytes Transformer Accelerate

Attention Is All You Need—transformer详解

Attention Is All You Need 论文 transformer代码 以下大部分是根据论文理解进行的总结和概括，如有疑问，欢迎交流~ transformer仅仅使用注意力机制，没有使用任何的卷积或者RNN结构。 传统RNN结构的当前隐层状态$h_t$需要当前时刻的输入以及上一时刻的隐 ......
transformer Attention Need All You
共234篇  :7/8页 首页上一页7下一页尾页