分布式
9.4. 分布式与微服务架构
在本章节中，我们将介绍分布式系统和微服务架构的基本概念。分布式系统解决了单体应用面临的可扩展性、高可用性等问题，而微服务架构进一步提升了系统的可维护性和灵活性。 #### 9.4.1. 分布式系统基本概念 分布式系统是由多个独立的计算节点组成的系统，这些节点通过网络进行通信和协作。 分布式系统的主要 ......
seata的分布式事务处理机制
1、启动时，自动代理数据源，应用GlobalTransactionalInterceptor，初始化TM和RM 2、进入@GlobalTransactional业务方法时，TM向TC发请求申请开启全局事务，并获得全局事务ID 3、业务方法调用远程服务接口完成业务处理 4、RM执行本地逻辑，注册分支事 ......
应用问题解决-分布式锁（LUA保证删除原子性）
问题：删除操作缺乏原子性 场景 1、index1获得锁、执行具体操作、比较lock的uuid值确实和自己生成的uuid是否相等，相等则删除锁。 uuid = v1 set(lock, uuid) uuid.equals(get("lock")） 2、但是index1执行删除前，lock刚好过期时间已 ......
分布式事务的解决方案及中间件
方案一：XA 两阶段提交方案是一种比较重的操作，其中有有以下三个角色：事务管理器（TM）、事务协调者（TC）、资源管理器（RM），资源锁定时间长，效率低。 方案二：TCC 采用冻结预留的方式锁定资源，开发量较大，常用于资金交易类的场景。 方案三：本地消息表 严重依赖消息表来管理事务，并不适用高并发。 ......
分布式系统的设计模式——每个开发人员都应该知道的关键概念
当我刚开始作为后端工程师的职业生涯时，我总是使用单体系统。 工作很好，但我的脑海里一直有这样的想法： “伙计，我想在大型系统上工作，比如谷歌、Netflix 等……” 我当时 19 岁，是一名初级开发人员，所以在这里让我放松一下。 在我的一位同事开始谈论它之前，我什至不知道分布式系统这个术语。 然后 ......
Hadoop - 分布式部署
Zookeeper的分布式部署 >> Hadoop的分布式部署 集群规划 安装部署 集群规划 序号 主机名 JDK Zookeeper NameNode JournalNode DataNode ResourceManager NodeManager 1 node01 JDK ZK NN JN DN ......
分布式锁（设置锁和过期时间）
问题描述： 随着业务发展的需要，原单体单机部署的系统被演化分成分布式集群系统后，由于分布式系统多线程、多进程且分布在不同机器上，这将使原单机部署情况下的并发控制锁策略失效，单纯的Java API并不能提供分布式锁的能力。为了解决这个问题就需要一种跨JVM的互斥机制来控制共享资源的访问，这就是分布式锁 ......
分布式爬虫
分布式 分布式的本质就如上期提到的一个概念：分布式系统是若干独立计算机的集合，这些计算机对于用户来说就像是单个相关系统。这就是在说，把廉价的计算机堆到一起，通过程序控制，使其整体用起来像个高性能计算机，目的就是节约成本。 对于分布式爬虫系统来说，假设1台机器能10天爬完一个任务，如果部署10台机器， ......
分布式事务
一。首先复习下mysql事务 事务四特性： 原子性(A)：要么全运行，要么全不运行 一致性(C)：事务之前A有100块，B有100块，A给B转账，事务结束后A和B的余额总和必须也得是200块。这里除了代码逻辑上没有问题之外，其实还需要其他三个特性的支持。 隔离性(I)：事务之间互不影响。 持久性(D ......
【转】向分布式存储系统的迁移 - 使用 ZFS/Gluster
原文： http://www.taodudu.cc/news/show-4208262.html?action=onClick https://my.oschina.net/u/2306127/blog/2865263 我这用的 Ubuntu 18.04 系统（已经内置支持 ZFS 和 Gluste ......
【缓存】本地缓存、分布式缓存以及多级缓存
### 什么是本地缓存、分布式缓存以及多级缓存 - 本地缓存， 这个用得最多，使用个 HashMap, ConcurrentHashMap, 本地存储一些进程内频繁使用的变量。或者引入像Caffine 这种可以有过期的就更好了 - 分布式缓存：像 memcache， redis 这种也没什么好说的了 ......
Pytorch 分布式训练
Pytorch DDP分布式训练介绍 近期一直在用torch的分布式训练，本文调研了目前Pytorch的分布式并行训练常使用DDP模式(Distributed DataParallell )，从基本概念，初始化启动，以及第三方的分布式训练框架展开介绍。最后以一个Bert情感分类给出完整的代码例子：t ......
Pytorch rendezvous 分布式
PyTorch中的rendezvous后端是一种服务，它帮助分布式训练作业中的进程相互发现并协商角色和等级。它还提供了一个屏障和一个一致的作业成员和状态视图。 rendezvous后端是作为torch.distributed.elastic.rendezvous.RendezvousHandler的 ......
SequoiaDB分布式数据库2023.5月刊
本月看点速览 行业认可，荣登中国最佳信创厂商系列榜单 聚焦创新，入选2022年大湾区科创企业创新TOP10 科技为本，协同发展，多家组织机构到访 青杉计划2023已开启，一起攀登更高的“杉” 行业认可，荣登中国最佳信创厂商系列榜单 近日，由第一新声联合天眼查发起的2023年中国最佳信创厂商系列榜单正 ......
Hazelcast分布式计算的demo
下面是一个使用Java实现的Hazelcast分布式计算的示例代码： ```java import com.hazelcast.core.Hazelcast; import com.hazelcast.core.HazelcastInstance; import com.hazelcast.core ......
Zookeeper - 分布式安装部署
集群规划 安装部署 集群规划 序号 主机名 JDK Zookeeper 1 node01 ✔ ✔ 2 node02 ✔ ✔ 3 node03 ✔ ✔ 安装部署 1、将zookeeper安装包解压到合适的目录 tar -zxvf zookeeper-x.x.x.tar.gz -C /opt/modul ......
在学习分布式系统时遇到的五个常见误解
哈喽大家好，我是咸鱼 我们知道，随着企业规模或者说业务规模的不断扩大，为了应对不断增长的业务需求和提高系统的可伸缩性、可靠性和性能，计算机系统由一开始的单体系统逐渐发展成分布式系统 那么今天咸鱼给大家介绍一些关于小白在学习分布式系统遇到的一些常见误解 ## 误解1.网络是可靠的 **在分布式系统中， ......
分布式事务
# 分布式事务 ## 回顾事务 > 什么是事务 ？ > > - 一组对数据库的操作，整体要么一起成功，要么一起失败 > > 事务的特性？ > > - 一致性 > - 原子性 > > 在项目中做事务控制 ？ 怎么做 ？ > > - 在启动类上加@EnableTransactonManager > - ......
分布式锁& 分布式事务
[toc] ## 分布式事务 ### 什么是分布式事务？ 分布式事务是指涉及多个参与方的事务操作，这些参与方可以位于不同的物理节点或不同的系统之间，需要保证所有参与方的操作要么全部成功，要么全部失败，保持数据的一致性。 ### 分布式事务的实现方式有哪些？ 常见的分布式事务实现方式包括两阶段提交（2 ......
Python的分布式网络爬虫
分布式爬虫其实就是指利用多台计算机分布式地从互联网上采集数据的一种爬虫。它可以把大规模的任务分解成若干小规模的，由多台计算机并行进行处理，大大提高了效率和速度。 分布式爬虫有很多优势：解决单机爬虫效率低的问题，分布式爬虫可以将任务分配给多个节点并行处理，大大提高了效率和速度。可以节省带宽和内存资源， ......
图解Redis和Zookeeper分布式锁
使用Redis还是Zookeeper来实现分布式锁，最终还是要基于业务来决定，可以参考以下两种情况：
（1）如果业务并发量很大，Redis分布式锁高效的读写性能更能支持高并发
（2）如果业务要求锁的强一致性，那么使用Zookeeper可能是更好的选择 ......
分布式事务1
普通的单系统事务，本地事务可用 ACID 解决； 但是现在都是分布式系统，此时本第十五已经不够看了，需要 考虑到分布式事务。 一致性(consitency)：用户访问分布式系统中的任意节点，得到的数据必须一致 可用性(availability)：用户访问集群中的任意健康节点，必须能得到响应，而不是超 ......
《可伸缩服务架构-框架与中间件》-01-分布式发号器
本文主要是设计一款永不重复的高性能分布式发号器。 源码地址——码云：https://gitee.com/robertleepeak/vesta-id-generator Vesta是一款通用的ID产生器，互联网俗称统一发号器，它具有全局唯一、粗略有序、可反解和可制造等特性，它支持三种发布模式：嵌入发 ......
Redis系列13：分布式锁实现
[Redis系列1：深刻理解高性能Redis的本质](https://www.cnblogs.com/wzh2010/p/15886787.html "Redis系列1：深刻理解高性能Redis的本质") [Redis系列2：数据持久化提高可用性](https://www.cnblogs.com/w ......
Redis+分布式+秒杀
## 聊一下MySQL 关于mysql关系型数据库的一些分析： 1、从性能上：如果我们碰到需要执行耗时特别久，并且执行结果不是很频繁变动的SQL语句，我们就没有必要每次都去查询数据库，因为每次操作数据库都很耗时。 2、从并发上：在大并发的情况下（比如618秒杀活动，你敢让千万级的请求直接打到数据库上 ......
聊聊分布式解决方案Saga模式
### Saga模式 Saga模式使用一系列本地事务来提供事务管理，而一个本地事务对应一个Saga参与者，在Saga流程里面每一个本地事务只操作本地数据库，然后通过消息或事件来触发下一个本地事务，如果其中一个本地事务失败了，Saga就会执行一系列补偿事务来实现回滚操作。（补偿事务简单来讲就是对之前本 ......
十三、利用分布式锁解决超卖问题
库存超卖问题 对于商城系统。超卖了一部分可以补获，12306对超卖问题更敏感。 JMeter的使用 超卖演示&使用JMeter对购票功能进行压测 使用synchronized是否能解决库存超卖？ 超卖问题出现原因： 假设余票为1，此时多个线程同时查询到这条余票记录，并进行扣减，那么则会导致超卖发生。 ......
SpringCloudAlibaba整合分布式事务Seata
[toc] # 1 整合分布式事务Seata [点击了解分布式事务Seata相关信息](https://jingzh.blog.csdn.net/article/details/130671622) ## 1.1 环境搭建 ### 1.1.1 Nacos搭建 [点击了解Nacos原理和使用](htt ......
微服务架构学习与思考(13)：分布式配置中心
## 一、配置中心的诞生 用编程语言编写应用项目时，一般都会有项目的配置文件。比如用 java 编写项目，有一个 properties 的配置文件，会把一些配置信息写入到该文本文件中，例如数据库相关的配置信息。 这也体现了软件设计的一个原则：**关注点分离**。把代码和配置信息相分离。 ![imag ......