时序 图谱reinforcement attention
Transformer王者归来！无需修改任何模块，时序预测全面领先
前言 最近，来自清华大学和蚂蚁集团的研究人员重新审视Transformer结构在时序分析中的应用，提出一个全新的反转视角——无需修改任何模块，即可实现Transformer在时序预测任务上的全面领先！ 本文转载自新智元 仅用于学术分享，若侵权请联系删除 欢迎关注公众号CV技术指南，专注于计算机视觉的 ......
图机器学习：从图谱角度来理解图增广
图对比学习（Graph Contrastive Learning, GCL）旨在以自监督的方式学习图的节点表征。具体而言，先以特定方式对原图A进行增广，得到两个增广后的视图（view）V1和V2做为对比对（也可以是原图和增广后的视图做为对比对），并经由GCN进行编码得到两个增广视图中的节点embed... ......
FlashAttention 如何加速Attention计算？
代数聚合 计算向量\(\mathbf x^l \in \mathbb R^{1 \times d}\)的softmax值 \[m(\mathbf x^l) = max(x_i^{l}) \\ f(\mathbf x^l) = [e^{x_1^l-m(\mathbf x^l)}, \cdots, e^ ......
GRLSTM：基于图的残差LSTM轨迹相似性计算《GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM》(知识图谱嵌入、图神经网络、残差网络、点融合图、多头图注意力网络GAT、残差LSTM、点感知损失函数(图的点损失函数、轨迹的点损失函数))
2023年10月18日，14:14。 来不及了，这一篇还是看的翻译。 论文：GRLSTM: Trajectory Similarity Computation with Graph-Based Residual LSTM(需要工具才能访问) Github： AAAI 2023的论文。 摘要 轨迹相似 ......
珠海四大主导产业全景图谱
本文核心数据：珠海产业布局体系;珠海产业空间布局;细分产业布局 1、珠海四大主导产业 2023年珠海市政府工作报告提到，要加快打造“4+3”产业集群，为“产业第一”战略打好基础，目前，珠海市正在打造新一代信息技术、新能源、集成电路、生物医药与健康4大主导产业。 其中，香洲区重点发展集成电路、数字经济 ......
大模型与KG（三）——时序知识图谱调研
因为后面还是打算继续做时序知识图谱的方向，所以借着这次看论文的机会，把时序KG的论文也都看一下，以对这块有个了解。中间过了个国庆，又夹杂上别的乱七八糟的事情，之前看的都断片了，又翻了一遍才勉强回忆起来，最近看论文也基本是粗读，因为总想着尽快着手做自己的东西。 目录数据集综述组内时序论文调研研究生时期 ......
Attention Is All You Need
Attention Is All You Need 关键词：Self-Attention、Transformer 📜 研究主题 设计仅基于注意力机制的网络Transformer Transformer仍然采用Encoder-Decoder结构，但脱离了Seq2Seq结构，不采用RNN或CNN单元 ......
数字电路硬件设计系列（十七）之上电时序控制电路
1 简介 上电时序，也叫做Power-up Sequence，是指电源时序关系。下面就是一系列电源的上电的先后关系： 2 方案介绍 2.1 电容实现延时 采用不同的电容来控制上电延时时间的长短，具体的电路见下图： 这种上电时序控制的方式，电路结构简单，但是延时时间难以精确的控制。在FPGA的电源时序 ......
基于知识图谱建模、全文检索的智能知识管理库（源码）
一、项目介绍 一款全源码，可二开，可基于云部署、私有部署的企业级知识库云平台，一款让企业知识变为实打实的数字财富的系统，应用在需要进行文档整理、分类、归集、检索、分析的场景。 知识图谱提供了一种从海量文本和图像中抽取结构化知识的手段，让知识获取更便捷、知识整理更简单、知识应用更智能……知识图谱，正成 ......
Graph RAG: 知识图谱结合 LLM 的检索增强
RAG（Retrieval Argumented Generation）这种基于特定任务/问题的文档检索范式中，我们通常先收集必要的上下文，然后利用具有认知能力的机器学习模型进行上下文学习（in-context learning），来合成任务的答案。这次，我们借助 LLM 的力量，强化下 RAG。 ......
attention案列
1、自注意力案例 import torch import torch.nn as nn class Selfattention(nn.Module): def __init__(self,input_dim): super(Selfattention, self).__init__() self.q ......
时序数据预测
https://paperswithcode.com/sota/time-series-forecasting-on-etth2-48?p=informer-beyond-efficient-transformer-for 时序数据预测 https://colab.research.google.c ......
针对Informer中时序数据ETT油温数据分析
针对Informer中时序数据ETT油温数据分析针对Informer中时序数据ETT油温数据分析 油温数据介绍 数据问题介绍 数据分析油温数据介绍电力变压器油温数据，由国家电网提供，该数据集是来自中国同一个省的两个不同县的变压器数据，时间跨度为2年，原始数据每分钟记录一次（用 m 标记），每个数据集 ......
Reinforcement Learning 学习笔记 1
什么是强化学习（reinforcement learning）? 假设一个场景，一个智能体(agent) 和环境（env）交互，智能体基于当前环境\(S_t\)每产生一个动作\(A_t\)，环境便给它一个反馈，也被称为奖励(reward)\(R_{t+1}\), 随后，智能体的状态变为\(S_{t+ ......
时序卷积网络TCN
时序卷积网络 https://blog.csdn.net/hotpants/article/details/129624190 https://baijiahao.baidu.com/s?id=1677236455062512984&wfr=spider&for=pc https://unit8.c ......
时序预测的深度学习算法全面盘点
时序预测的深度学习算法全面盘点 https://blog.csdn.net/qq_34160248/article/details/131349551 https://it.sohu.com/a/690057464_121124360 https://zhuanlan.zhihu.com/p/393 ......
【NIPS2021】Twins: Revisiting the Design of Spatial Attention in Vision Transformers
来自美团技术团队♪（＾∀＾●）ﾉｼ 论文地址：https://arxiv.org/abs/2104.13840 代码地址：https://git.io/Twins 一、写在前面 本文提出了两种视觉转换器架构，即Twins-PCPVT和Twins-SVT。 Twins-PCPVT 将金字塔 Trans ......
Pink Noise Is All You Need: Colored Noise Exploration in Deep Reinforcement Learning
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Published as a conference paper at ICLR 2023 ABSTRACT ......
详细了解Transformer：Attention Is All You Need
--> 原文链接：Attention Is All You Need 1. 背景 在机器翻译任务下，RNN、LSTM、GRU等序列模型在NLP中取得了巨大的成功，但是这些模型的训练是通常沿着输入和输出序列的符号位置进行计算的顺序计算，无法并行。 文中提出了名为Transformer的模型架构，完全依 ......
基于知识图谱、全文检索开发的数字知识库
一、项目介绍 一款全源码，可二开，可基于云部署、私有部署的企业级知识库云平台，一款让企业知识变为实打实的数字财富的系统，应用在需要进行文档整理、分类、归集、检索、分析的场景。 获取方式+q:3588019357 为什么建立知识库平台？ 助力企业知识资产有效沉淀和利用，避免随文档负责人变动而重复制作， ......
NebulaGraph实战：3-信息抽取构建知识图谱
自动信息抽取发展了几十年，虽然模型很多，但是泛化能力很难用满意来形容，直到LLM的诞生。虽然最终信息抽取质量部分还是需要专家审核，但是已经极大的提高了信息抽取的效率。因为传统方法需要大量时间来完成数据清洗、标注和训练，然后来实体抽取、实体属性抽取、实体关系抽取、事件抽取、实体链接和指代消解等等。现在 ......
Attention
注意力实现: import math import torch from torch import nn import matplotlib.pyplot as plt from d2l import torch as d2l def sequence_mask(X, valid_len, valu ......
TDengine 用户案例合集 | 智能环保项目的时序数据处理难点与优化实践
智能环保系统通常涉及大量的传感器和监测设备，以收集环境数据并对其进行分析和处理，这些数据通常是时序数据，即在一段时间内按时间顺序生成的数据，规模庞大且要求快速准确地进行分析和处理。也因此时序数据处理是智能环保系统面临的一个重要难题，很多项目在创建之初采用了传统的大数据解决方案，随着数据体量的日益增长 ......
构建基于neo4j知识图谱、elasticsearch全文检索的数字知识库
前言： 在数字化时代，知识库的建设正逐渐成为企业、学术机构和个人的重要资产。本文将介绍如何使用neo4j和elasticsearch这两种强大的数据库技术来构建知识库，并对其进行比较和探讨。 技术栈： springboot+vue+neo4j+elasticsearch+activiti+mysql ......
一文告诉你为什么时序场景下 TDengine 数据订阅比 Kafka 好
在 TDengine 3.0 中，我们对流式计算、数据订阅功能都进行了再升级，帮助用户极大简化了数据架构的复杂程度，降低整体运维成本。TDengine 提供的类似消息队列产品的数据订阅、消费接口，本质上是为了帮助应用实时获取写入 TDengine 的数据，或者以事件到达顺序处理数据，与其他消息队列相 ......
Efficient Off-Policy Meta-Reinforcement Learning via Probabilistic Context Variables
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ Proceedings of the 36th International Conference on Machine Learning, PMLR 97:5331-5340, 2019 ......
Meta-Reinforcement Learning of Structured Exploration Strategies
郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！ NeurIPS 2018 ......
《语义增强可编程知识图谱SPG》白皮书
语义増强可编程图谱框架：新一代知识图谱语义框架/引擎、SPG+LLM双驱架构及应用相关进展和应用。《语义增强可编程知识图谱SPG》白皮书 v1.0.pdf: https://url39.ctfile.com/f/2501739-941002398-f8f1f0?p=2096 (访问密码: 2096) ......
【NIPS2021】Focal Self-attention for Local-Global Interactions in Vision Transformers
来自微软（*^____^*） 论文地址：[2107.00641] Focal Self-attention for Local-Global Interactions in Vision Transformers (arxiv.org) 代码地址：microsoft/Focal-Transforme ......
Attention Mixtures for Time-Aware Sequential Recommendation
目录概符号说明MOJITO代码 Tran V., Salha-Galvan G., Sguerra B. and Hennequin R. Attention mixtures for time-aware sequential recommendation. SIGIR, 2023. 概 本文希望 ......