language vision-language模态vision
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习
《X-LLM: Bootstrapping Advanced Large Language Models by Treating Multi-Modalities as Foreign Languages》论文学习 ......
Rethinking and Improving Relative Position Encoding for Vision Transformer: ViT中的位置编码
Rethinking and Improving Relative Position Encoding for Vision Transformer * Authors: [[Kan Wu]], [[Houwen Peng]], [[Minghao Chen]], [[Jianlong Fu]], ......
MetaFormer Is Actually What You Need for Vision：通用的ViT架构才是关键
MetaFormer Is Actually What You Need for Vision * Authors: [[Weihao Yu]], [[Mi Luo]], [[Pan Zhou]], [[Chenyang Si]], [[Yichen Zhou]], [[Xinchao Wang]] ......
Open-World Object Manipulation using Pre-trained Vision-Language Models
概述 提出MOO: Manipulation of Open-World Objects 用预训练的VLM在图像中标记instruction的object的坐标，传入policy进行控制，可以zero-shot泛化到novel object，还支持手指、点击输入指令。 问题 机器人泛化到训练中没有见 ......
Swin Transformer: Hierarchical Vision Transformer using Shifted Windows详解
初读印象 comment:: (Swin-transformer)代码：https://github. com/microsoft/Swin-Transformer 动机 将在nlp上主流的Transformer转换到cv上。存在以下困难： nlp中单词标记是一个基本单元，但是视觉元素在尺度上有很大 ......
《MiniGPT-4: Enhancing Vision-language Understanding with Advanced Large Language Models》论文学习
一、ABSTRACT 最新的GPT-4展示了非凡的多模态能力，例如直接从手写文本生成网站和识别图像中的幽默元素。这些特性在以往的视觉-语言模型中很少见。然而，GPT-4背后的技术细节仍然未公开。我们认为，GPT-4增强的多模态生成能力源自于复杂的大型语言模型（LLM）的使用。 为了检验这一现象，我们 ......
《ChatBridge: Bridging Modalities with Large Language Model as a Language Catalyst》论文学习
一、Abstract 构建能够感知现实世界多种模态信信号，并解决各种任务的通用模型，是人工智能领域一个吸引人的目标。 在本文中，我们介绍了ChatBridge，这是一个新颖的多模态语言模型，它利用语言的表达能力作为催化剂，来弥合不同模态之间的差距。我们证明，只需要使用双模态的语言配对数据（image ......
【论文阅读笔记】【多模态-Vision-Language Pretraining】 BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
BLIP ICML 2022 (Spotlight) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 在视觉-语言预训练（VLP）中，如何更加高效地利用充斥着噪声的海量图文对数据，提升预训练效果？ 如何设计模型，使得预训练后的模型在理解（understanding-based）任务 ......
A fast and simple algorithm for training neural probabilistic language models
目录概Noise contrastive estimation Mnih A. and Teh Y. W. A fast and simple algorithm for training neural probabilistic language models. ICML, 2012. 概 NCE ......
多模态AI：技术深掘与应用实景解析
在当今人工智能技术的快速发展中，多模态AI凭借其独特的数据处理能力，成为了科技创新的前沿。这项技术结合了视觉、听觉、文本等多种感知模式，开辟了人工智能处理和理解复杂信息的新纪元。本文旨在深入探讨多模态AI的核心技术和其在现实世界中的应用场景，揭示这项技术如何推动科技前沿的发展。 图片来源：浙商证券研 ......
[论文阅读] Replacing softmax with ReLU in Vision Transformers
Pre title: Replacing softmax with ReLU in Vision Transformers accepted: Arxiv 2023 paper: https://export.arxiv.org/abs/2309.08586 code: None 关键词：atten ......
Retentive Networks Meet Vision Transformers， 视觉RetNet
alias: Fan2023 tags: RetNet rating: ⭐ share: false ptype: article RMT: Retentive Networks Meet Vision Transformers 初读印象 comment:: (RMT)Retentive Netwo ......
Recommendation as Instruction Following: A Large Language Model Empowered Recommendation Approach
目录概InstructRecInstruction Generation Zhang J., Xie R., Hou Y., Zhao W. X., Lin L., Wen J. Recommendation as instruction following: a large language mo ......
【论文阅读笔记】【多模态-Referring & Grounding】 Grounded Language-Image Pre-training
GLIP CVPR 2022 (Oral, Best Paper Finalist) 读论文思考的问题 论文试图解决什么问题？写作背景是什么？ 问题： 如何将视觉-语言预训练技术应用在以目标检测为代表的 fine-grained image understanding 上面？ 如何在增加训练数据的同 ......
《REBEL Relation Extraction By End-to-end Language generation》阅读笔记
论文来源 代码地址 相关视频（YouTube） 相关概念： 1.What is natural language understanding (NLU)? Natural language understanding (NLU) is a branch of artificial intellige ......
# [AI]多模态聚类能力助力AI完成自主意识测试
AI的自我意识建立不可能一蹴而就。我们努力解构自我意识的每一个细分领域，不断为AI附加各种模拟自我意识的模块。从理论上我们预期多模态的应用以及人类行为规则的高抽象建模最终能对人类自我意识进行解释。 ......
GLIP:Grounded Language-Image Pre-training
Grounded Language-Image Pre-training 目录Grounded Language-Image Pre-training简介摘要Introduction统一的损失函数方法总结参考资料 GLIPv1: Grounded Language-Image Pre-trainin ......
国际化-语言代码表-Language Codes
af Afrikaans 南非语 af-ZA Afrikaans (South Africa) 南非语 af Afrikaans 南非语 af-ZA Afrikaans (South Africa) 南非语 ar Arabic 阿拉伯语 ar-AE Arabic (U.A.E.) 阿拉伯语(阿联酋) ......
什么是 SAP XML annotation language server
来自 SAP 官方的解释： The XML annotation language server accelerates how you work with annotations in the code editor. Context-sensitive code completion displ ......
Leveraging Pre-trained Large Language Models to Construct and UtilizeWorld Models for Model-based Task Planning
0 Abstract 将LLM直接作为planner的方法实用性不足的几个原因：plan的正确率有限，严重依赖于feedback（与sim或者真实环境的交互），利用人类feedback的效率低下。 作者在两个IPC域和一个Household域证实了GPT-4可以用来生成高质量的PDDL模型（执行超过 ......
Towards Reasoning in Large Language Models A Survey
Reasoning 定义 推理：以逻辑和系统的方式进行思考，利用证据和过往经验来得出结论或作出抉择。 演绎推理Deductive Reasoning 结论来源于前提假设的阳性 前提假设：哺乳动物都有肾脏 前提假设：鲸是哺乳动物 结论：鲸有肾脏 归纳推理Inductive Reasoning 结论来源 ......
AutoCAD .NET 二次开发（2020版）在模态窗口中控制窗口的隐藏和显示
如果你创建了模态窗口，虽然一些API，例如Editor.GetSelection()，可以自动隐藏模式对话框，但如果从模态窗口出发与编辑器（编辑器指的模型空间，即你绘图的窗口）交互， 它会在GetSelection()完成后立即显示对话框，而你的其它代码可能仍在进行中，两者处于异步模式。 由于模式对 ......
Improving Computer Vision Accuracy using Convolutions
Improving Computer Vision Accuracy using Convolutions 在前面的课程中，你们了解了如何使用包含三层的深度神经网络（DNN）进行时装识别，这三层分别是输入层（数据的形状）、输出层（所需输出的形状）和隐藏层。你试验了不同大小的隐藏层、训练epoch ......
Beyond Hello World, A Computer Vision Example
Beyond Hello World, A Computer Vision Example dlaicourse/Course 1 - Part 4 - Lesson 2 - Notebook.ipynb at master · lmoroney/dlaicourse (github.com) St ......
Computer vision: models, learning and inference
http://www.computervisionmodels.com/ 13.2.3 SIFT detector SIFT 尺度不变特征转换 s a second method for identifying interest points 一个尺度和对应兴趣点定位 14 15 16 ......
多模态-BLIP
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generatio Paper 模型参数量 训练数据量 数据集来源 BLIP 224M-361M 14M - 1 ......
office the language DLL 'VBE7INTL.DLL' is not be found
其实是缺少vba，安装组件就可以了 解决方案：在卸载程序的面板中，找到office，右键选择更改，选择添加或删除功能，勾选如下两项就可以了 记得关掉office后再打开就好了 ......
自实现模态对话框-DoModal函数
参考CDialog::DoModal函数的实现方式，自己实现了模态框相关功能。 ModalBase.h头文件 1 #include <afxwin.h> 2 3 #define ID_NULL 0 4 #define ID_OK 1 5 #define ID_CANCEL 2 6 #define I ......
学习笔记：A Survey on Large Language Model basedAutonomous Agents
挑选了自己感兴趣的部分整理了一下。 目录A Survey on Large Language Model basedAutonomous Agents1 LLM-AA Construction1.1 Architecture Design2 LLM-AA Application3 LLM-AA Ev ......
《PC Assembly Language》笔记——第一章-介绍
《PC Assembly Language》Paul A. Carter 第1章-介绍Introduction 1.2 Computer Organization 1.2.1 内存（Memory） 单位 大小 word 2 bytes double word 4 bytes quad word 8 ......