队列 分布式 消息kafka
分布式限流——基于Redis的Lua脚本限流实现
分布式限流 当你的应用分布式部署出现对等端（peer）时，单机的限流往往不能满足对下游保护的作用，因为它仅仅是jvm内存层面的流量控制。这个时候自然而然会想到用一些跨JVM的分布式中间件控制在单位时间窗口内的请求是否通行，本文我们将探讨如何借助Redis实现分布式限流。 1 固定窗口限流 前文已经介 ......
第二章 Spring Boot 整合 Kafka消息队列 生产者
系列文章目录 第一章 Kafka 配置部署及SASL_PLAINTEXT安全认证 第二章 Spring Boot 整合 Kafka消息队列 生产者 第三章 Spring Boot 整合 Kafka消息队列 消息者（待续） 前言 Kafka 是一个消息队列产品，基于Topic partitions ......
分布式代码执行分析
SparkContext对象的构建 以及 Spark程序的退出, 由 Driver 负责执行 具体的数据处理步骤, 由Executor在执行. 其实简单来说就是: 非数据处理的部分由Driver工作 数据处理的部分(干活)由Executor工作 要知道: Executor不仅仅是一个, 视集群规模, ......
ClickHouse(21)ClickHouse集成Kafka表引擎详细解析
目录Kafka表集成引擎配置Kerberos 支持虚拟列资料分享参考文章 Kafka表集成引擎 此引擎与Apache Kafka结合使用。 Kafka 特性： 发布或者订阅数据流。 容错存储机制。 处理流数据。 老版Kafka集成表引擎参数格式： Kafka(kafka_broker_list, k ......
.net core分布式定时任务调度系统
分布式任务调度平台XXL-JOB与.net core分布式定时任务调度系统 .net core分布式定时任务调度系统前端：java web 后端：.net core3.1数据库：mysql，sqlserver 来源 银柱网 http://www.liyinzhu.com ......
动力节点RabbitMQ教程|12小时学会rabbitmq消息中间件-01
今日主题内容： 1、What is RabbitMQ？ 2、MQ的应用场景？ 3、RabbitMQ运行部署 4、RabbitMQ工作模型 5、RabbitMQ交换机类型 6、RabbitMQ过期消息 7、RabbitMQ死信队列 8、RabbitMQ延迟队列 1. What is RabbitMQ？ ......
org.springframework.kafka.listener.ListenerExecutionFailedException: Listener method could not be invoked with the incoming message
问题描述 kafka在yml文件中未开启批量消费时，程序正常运行；但一开启正常消费后，就直接报错；排查问题的过程中一直觉得是配置文件里的问题，最后发现是消费者接受的参数类型错误 问题本质 消费者开启批量消费数据后，不能用单个实体类接收参数，而应该用list 解决方法 修改消费者函数参数类型 ......
消息队列面试题：为什么要使用消息队列？
消息队列面试题：为什么要使用消息队列？ 开源项目：浪海博客 需要星星 谢谢 ~ gitee地址：https://gitee.com/langhai666/langhai-blog github地址：https://github.com/Allenkuzma/langhaiblogs 为什么要使用消息 ......
分布式缓存的实现和使用
1.前言 什么是分布式缓存？ 分布式缓存是指将缓存数据存储在多个节点（通常是不同的计算机或服务器）上，以提高系统性能和可伸缩性。这种缓存方式允许应用程序通过从缓存中读取数据而不是从数据库或其他存储中读取来提高读取操作的速度。分布式缓存通常用于大规模的分布式系统，其中需要快速的数据访问，而传统的数据库 ......
ogg-kafka
环境搭建 Oracle 环境搭建 源端 OGG 依赖 Oracle 环境，可安装 Oracle instant client，如果源端和数据库在同一台服务器则不需要此小节的步骤。 下载地址：https://www.oracle.com/database/technologies/instant-cl ......
kafka 服务开机自启动
Kafka 服务开机自启动 问题： 服务器更新Linux 内核需要重启服务器，重启后kafka 服务不会自动启动， 需要人工手工启动Kafka服务 服务器类型： SUSE 12SP5 类型服务器 SUSE 12SP3 类型服务器 KYLIN10SP1 国产化操作系统服务器 解决方案： 使用syste ......
开源：Taurus.DTC 微服务分布式事务框架，支持 .Net 和 .Net Core 双系列版本
在经过1年多的深思，十几年的框架编写技术沉淀下，花了近一个月的时间，终于又为 .Net 及 .Net Core 的微服务系列框架贡献当中的一个重要组件。原本的设计是作为 Taurus.Mvc 微服务系列中的一个插件，单独内部集成使用，后来想了想，还是在设计中独立了出来，支持在任意 Mvc 框架中使用... ......
Java中单体应用锁的局限性&分布式锁
互联网系统架构的演进 在互联网系统发展之初，系统比较简单，消耗资源小，用户访问量也比较少，我们只部署一个Tomcat应用就可以满足需求。系统架构图如下: 一个Tomcat可以看作是一个JVM进程，当大量的请求并发到达系统时，所有的请求都落在这唯一的一个Tomcat上，如果某些请求方法是需要加锁的，比 ......
一键构建分布式云原生平台
http://wed.xjx100.cn/news/90673.html 目录 专栏导读 一、分布式云原生平台 1、应用无所不能 2、运行无处不在 3、服务千行白业 二、分布式云原生平台关键要素 1、统一应用管理 2、统一流量自治 3、统一数据管理 4、统一运维 三、多云多集群已经广泛应用 四、分布 ......
升讯威在线客服系统的并发高性能数据处理技术：实现拔网线也不丢消息的高可靠通信（附视频）
我在业余时间开发维护了一款免费开源的升讯威在线客服系统，也收获了许多用户。对我来说，只要能获得用户的认可，就是我最大的动力。 客服系统开发过程中，最让我意外的是对 TCP/IP 协议的认识。过去一直认为 TCP/IP 是可靠的连接，加上过去开发的软件网络环境比较稳定，很少在这个问题上纠结。 直到客服 ......
Kafka - 面试题
Kafka是什么？它用于什么场景？答案：Kafka是一个分布式流平台，用于构建实时数据流管道和应用。它主要用于处理和传输大规模的流数据，例如日志、事件和其他类型的数据。Kafka广泛应用于大数据处理、实时流处理、消息队列等领域。 Kafka的主要组件有哪些？它们的作用是什么？答案：Kafka的主要组 ......
消息队列
同步 优点 时效性较强 缺点 耦合度高 性能和吞吐量低 等待过程中导致cpu等资源浪费 级联失败 异步 优点： 耦合性低：新增微服务不用去改动支付服务里的代码 吞吐量大：支付服务不用刻意等待其他微服务的处理结果，全部交给Broker来代理 故障隔离：其他微服务的停止不会直接影响到支付服务 流量削峰： ......
RabbitMQ队列和消息的优先级
RabbitMQ队列和消息的优先级 如果队列中的消息很多，需要一部分消息被优先消费，这是可以通过为消息和队列设置优先级来实现。 请注意，消息的优先级是相对于队列的优先级而言的。如果队列的最大优先级是10，那么消息的优先级可以在1到10的范围内设置。 MQ测试结构 代码实现 设置交换机和队列 pack ......
RabbitMQ延迟队列
RabbitMQ延迟队列 简单理解： 交换机在消息达到指定延迟时间后才会发送到指定的队列中，类似定时器的功能。 安装rabbitmq_delayed_message_exchange插件 该插件可以创建延迟交换机，消息在达到指定延迟时间后才会发送到指定的队列中。 Rabbit plugins 插件G ......
消息 面试题
Kafka 零拷贝 Linux 2.1版本内核引入了sendfile函数，用于将文件通过socket传送。“零拷贝技术”只用将磁盘文件的数据复制到页面缓存中一次，然后将数据从页面缓存直接发送到网络中（发送给不同的订阅者时，都可以使用同一个页面缓存），避免了重复复制操作。 如果有10个消费者，传统方式 ......
最新消息：OpenAI GPT Store 正式上线，GPTs 应用商店来了！
OpenAI推出的两款新产品和服务：GPT Store和ChatGPT Team，提供了许多全新的解决方案和功能，旨在帮助用户更轻松地使用和构建GPT工具，同时也增加了公司的收入来源。GPT Store是一个全新的在线平台，允许用户创建和分享自定义ChatGPT助手，从而满足他们的特定需求。 该产品 ......
Kafka 万字精讲｜工作五年这些你都知道吗？
本文以 Kafka 官方文档的内容为基石，结合参考文献处文章和笔者自身实践凝练而成，涵盖内容全面，详略得当。
这也是《一文搞懂》系列的第一篇技术长文，期待您的关注。 ......
ECharts极坐标散点图：如何展示数据分布情况
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
WebSocket与JavaScript：打造高效的实时消息推送系统
Laravel是一个流行的PHP框架，它具有出色的可测试性，可以帮助开发人员在更短的时间内编写可靠的代码。但是，即使使用了这个框架，也可能会出现测试覆盖率较低的情况。测试覆盖率是指代码中已由测试案例覆盖的部分比例。测试覆盖率越高，代码质量越高。在本文中，我们将分享几种技巧，帮助您提高Laravel应 ......
中间件 ZK分布式专题与Dubbo微服务入门 5-1 集群的一些基本概念
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12714 1 重点关注 1.1 ACL命令行 getAcl:获取某个节点的acl权眼信息setAcl:设置某个节点的acl权限信息addauth:输入认证授权信息，注册时输入明文察码(登录 但是 ......
kafka入门(七)：kafka实现高吞吐量
kafka 高吞吐量 顺序写入磁盘 Kafka 使用 磁盘来存储和缓存消息。 Kafka 只能在日志文件的尾部追加新的消息，也就是 顺序写入磁盘。 顺序写入磁盘，让 Kafka 能实现更高的吞吐量。 页缓存 Kafka中大量使用页缓存，这是Kafka 实现高吞吐的重要因素之一。 页缓存，是操作系统实 ......
堆、栈、队列概念与区别
堆的特点： 1.堆为按需申请、动态分配，例如 C 中的 malloc 函数和 C++ 中的 new 操作申请内存块。 2.程序提出申请时会从堆中找出一块可用内存，在程序结束之前，操作系统不会删除已经申请的内存，而是要靠程序主动提出释放的请求（free、delete），如果使用后忘记释放，就会造成所谓 ......
redis分布式锁学习
redis分布式锁 原理是通过setnx命令 setnx key value 如果key不存在 则设置value,如果存在则不做操作 jedis clientId = uuid; 1、stringRedisTemplate.opsForValue.setIfAbsent(lockKey,client ......