分布式
读发布！设计与部署稳定的分布式系统（第2版）笔记25_互联层之路由和服务
 # 1. 控制请求数量 ## 1.1. 这个世界可以随时摧毁我们的系统 ### 1.1.1. 要么拒绝工作 ### ......
分布式ID性能评测：CosId VS 美团 Leaf
# 分布式ID性能评测：CosId VS 美团 Leaf ## 基准测试环境 - MacBook Pro (M1) - JDK 17 - JMH 1.36 - 运行在本机的Docker 的 mariadb:10.6.4 ## 运行基准测试 > 基准测试代码： https://github.com/A ......
ClickHouse创建分布式表1
clickhouse集群主要有两个作用,一是数据副本,也就是将数据冗余到另外的机器上，用于保证高可用；二是分布表，就是将一个表的数据分散到多个节点上保存，然后再通过Distributed表引擎将数据拼接起来作为一个完整的表使用。 创建分布式表： 1.查看clickhouse 默认的集群配置 SELE ......
ClickHouse创建分布式表
技术标签： 大数据开发 分布式 数据库 大数据 flink ClickHouse创建分布式表 当数据量剧增的时候，clickhouse是采用分片的方式进行数据的存储的，类似于redis集群的实现方式。然后想进行统一的查询的时候，因为涉及到多个本地表，可以通过分布式表的方式来提供统一的入口。由于是涉及 ......
分布式事务两阶段提交和三阶段提交有什么区别？
在分布式事务中，通常使用两阶段协议或三阶段协议来保障分布式事务的正常运行，它也是 X/Open 公司定义的一套分布式事务标准。 > X/Open 公司是由多家国际计算机厂商所组成的联盟组织，它建立之初是为了向 UNIX 环境提供标准。 分布式事务是指在分布式系统中，多个节点之间进行的事务操作。比如在 ......
分布式服务如何保证幂等性，幂等性如何设计
1）建唯一索引：唯一索引或唯一组合索引来防止新增数据存在脏数据 （当表存在唯一索引，并发 时新增异常时，再查询一次就可以了，数据应该已经存在了，返回结果即可）。 2）token机制： token机制的幂等保障的主要流程就是： 服务端提供了发送token的接口。我们在分析业务的时候，哪些业务是存在幂等 ......
(五) MdbCluster分布式内存数据库——数据迁移架构及节点扩缩容状态图
(五) MdbCluster分布式内存数据库——数据迁移架构及节点扩缩容状态图 上一篇：(四) MdbCluster分布式内存数据库——业务消息处理 本节主要讨论在系统扩容期间的数据迁移架构及节点的状态图。我们将通过介绍这两部分，慢慢展开复杂的扩缩容流程。 下图从左到右，我们增加了ClusterMa ......
springcloud- 分布式session，全局session共享的解决方案
1.导入依赖 <dependency> <groupId>org.springframework.session</groupId> <artifactId>spring-session-data-redis</artifactId> <!-- <version>2.3.0.RELEASE</ver ......
分布式操作系统会不会是操作系统的终端形态？
昨天一位网友私信我，提出一个问题：“Laxcus分布式操作系统会不会是操作系统发展的终极形态？”。今天觉得有必要把这件事说一说，所以就忙里偷闲写下这篇文章。咱们先说结论：是也不是，需要具体情况具体分析。操作系统发展到今天，基本分为两种：面向个人工作的操作系统，和面向企业业务的操作系统。前者的主要代表 ......
通过自旋自定义一个分布式锁
1、定义锁类 package com.xiangwen.day3; import java.util.concurrent.atomic.AtomicBoolean; public class MyReentLock { private static AtomicBoolean atomicBool ......
分布式限流方案
https://www.cnblogs.com/jiangym/p/17473049.html https://www.cnblogs.com/jiangym/p/17471590.html 常见限流 验证码 通常会设置多个维度的限流规则 IP每秒的访问评率小于10、连接数小于5 （怎么实现的？） ......
.net core使用redis进行分布式事务锁
.net core使用redis进行分布式事务锁 一、在 .NET Core 中，可以使用 StackExchange.Redis 库来实现 Redis 分布式锁。下面是一个简单的示例代码： using StackExchange.Redis; using System; public class ......
分布式事务
# 2pc ### 两个阶段 投票和事务提交 ### [第一阶段:投票](https://wendajiang.github.io/distribute-transaction-2pc-3pc/#di-yi-jie-duan-tou-piao) leader 就是检录员 1. leader 发送执行 ......
[爬虫]3.2.2 分布式爬虫的架构
在分布式爬虫系统中，通常包括以下几个主要的组成部分：调度器、爬取节点、存储节点。我们接下来将详细介绍每一个部分的功能和设计方法。 ## 1. 调度器（Scheduler） 调度器是分布式爬虫系统中的核心，它负责管理和分发爬取任务。调度器通常需要处理以下功能： - **URL管理**：调度器需要管理一 ......
分布式ID
背景 分库分表中，ID容易重复。 解决办法 UUID 统一ID序列表 雪花算法 UUID 通用唯一识别码 Universally Unique Identifier 实际应用中使用少，缺点是单纯ID、没有实际意义、32位。 是可以解决ID重复的问题。 MyCat不支持UUID方式。Sharding- ......
滴滴太狠：分布式ID，如何达到1000Wqps？
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
使用Locust进行分布式性能测试
Locust是一个强大的性能测试工具，用于评估系统的性能和可扩展性。本文将简洁地介绍使用Locust进行分布式性能测试的步骤和优势。 步骤： 1. 配置测试环境：在主节点和多个从节点上安装相同版本的Locust，并确保网络互通。 2. 编写Locust脚本：使用Python编写Locust脚本文件， ......
什么是分布式操作系统？我们为什么需要分布式操作系统？
分布式操作系统是一种特殊的操作系统，本质上属于多机操作系统，是传统单机操作系统的发展和延伸。它是将一个计算机系统划分为多个独立的计算单元(或者也可称为节点)，这些节点被部署到每台计算机上，然后被网络连接起来，并保持着持续的通信状态。在分布式操作系统中，每个节点即可以独立地象单机操作系统一样执行本地的 ......
新书出版：《分布式机器学习——系统、工程与实战》
## 0x01 广告 经过一年多的努力，我的书 《分布式机器学习——系统、工程与实战》终于上架了，在这里打个广告。  ......
java分布式从入门到架构学习路线？
java分布式从入门到架构学习路线？ 初级阶段： 1. Java基础知识：掌握Java语言的基本语法、面向对象编程的概念、集合框架和异常处理等基础知识。 2. 网络编程：了解Java网络编程的基本概念，学习Socket编程和网络通信协议，掌握TCP/IP和HTTP协议的基本原理。 3. 分布式系统概 ......
(四) MdbCluster分布式内存数据库——业务消息处理
(四) MdbCluster分布式内存数据库——业务消息处理 上篇：(三) MdbCluster分布式内存数据库——节点状态变化及分片调整 离上次更新文章已有快5个月，我还是有点懒。但我们系统的研发并没有因此停下来。下面先简单介绍下MdbCluster最近的一些进展。 1. 提供了java语言的jd ......
在Java项目中使用redisson实现分布式锁
Redisson自定义注解实现分布式锁 在Java项目中使用Redission自定义注解实现分布式锁： 添加Redission依赖项：在项目的pom.xml中添加Redission依赖项： <dependency> <groupId>org.redisson</groupId> <artifactI ......
分布式解决了解
一,分布式事务阐述 分布式事务指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上,且属于不同的应用，分布式事务需要保证这些操作要么全部成功，要么全部失败。 事务的本质就是保证不同数据库的数据一致性。 二，分布式事务通用解决方案 1，两阶段提交（2PC） ......
分布式架构-Redisson 框架介绍使用
**分布式架构-Redisson 框架介绍使用** ** 一、Redisson** Redisson是架设在Redis基础上的一个Java驻内存数据网格。在基于NIO的Netty框架上，充分的利用了Redis键值数据库提供的一系列优势，在Java实用工具包中常用接口的基础上，为使用者提供了一系列具有 ......
个人随笔 —— 基于 go 语言实现的轻量化 workflow 分布式引擎插件
# 背景 组内有很多项目都涉及复杂的任务流场景： * 集群创建、删除等生命周期管理 * k8s 资源申请销毁 * .... 这些场景都有几个共同的特点： 1. 流程耗时且步骤复杂，需要几十步操作，其中包含云资源申请、脚本执行、接口调用等，且相互存在依赖关系。 2. 任务量随着业务增长而快速迭代，比如 ......
单树莓派/双树莓派+USRP+srsLTE分布式搭建4G LTE微基站
单树莓派/双树莓派+USRP+srsLTE分布式搭建4G LTE微基站 前言一、添加SIM卡的配置信息二、修改enb配置信息三、修改epc配置信息四、修改手机SIM卡配置信息五、树莓派运行srsepc，电脑1运行srsenb1.下行灌包测试2.上行灌包测试 六、树莓派4B运行srsenb，树莓派3B ......
LAXCUS分布式操作系统：人工智能最后一公里
随着人工智能技术的飞速发展，越来越多的应用场景开始涌现。然而，在实际应用中，人工智能技术仍然面临着许多挑战，其中最大的挑战之一就是如何实现人工智能的“最后一公里”。这一问题主要体现在以下几个方面： 计算资源有限：传统的集中式计算架构在处理大规模数据和复杂任务时，往往面临计算资源不足的问题。这使得人工 ......
数据库与分布式系统
数据库与分布式数据库，ACID与CAP理论 关系型数据库支持ACID特性，在关系型数据库中，事务Transaction是一个一致和可靠的计算单元，事务可以启动、停止、取消、回滚保证对数据操作的正确性。Atomicity 原子性、Consistency 一致性、Isolation 隔离性、Durabi ......