分布式
【分布式事务】实现分析
需解决的问题： 事务状态的流转：状态机 子事务失败时：如何触发重试、重试失败后整个事务的回滚（补偿时如何调用客户端补偿方法） 异常场景：空回滚、悬挂、幂等（业务要考虑幂等问题） 监控：快速定位（找到当前事务的所有处理日志）、集群事务处理能力大盘 高可用设计：失效转移，处理事务的节点异常后，不影响后续 ......
分布式事务
基础理论 一个经典例子 拿转账作为例子，A需要转100元给B，那么需要给A的余额-100元，给B的余额+100元，整个转 要保证，A-100和B+100同时成功，或者同时失败。 本地事务 利用关系型数据库，把多条数据库语句作为一个整体进行操作的功能，被称为本地数据库事务。数据库事务可以确保该事务范围 ......
基于栅格的分布式新安江模型构建与分析 - 姚成 - 2007
摘要： 基于DEM的分布式水文模型是现代水文学同计算机,3S等高科技技术相结合的产物,是水文模型新的发展方向.本文是在数字高程模型的基础上,研究和归纳了流域信息提取的方法和算法,利用DEM数据提取了河网,水系,水流路径等相关的流域特征,并根据三水源新安江模型的理论,建立了一个基于DEM栅格的分布式新 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记03_让系统稳定运行
 # 1. 概念 ## 1.1. 事务 ### 1.1.1. 系统处理的抽象工作单元 #### 1.1.1.1. 与 ......
聊聊什么是分布式事务
### 概述 分布式事务就是指事务的参与者、支持事务的服务器、资源服务器以及事务管理器分别位于不同的分布式系统的不同节点之上，以上是百度百科的解释。 简单的说，就是一次大的操作由不同的小操作组成，这些小的操作分布在不同的服务器上，且属于不同的应用，分布式事务需要保证这些小操作要么全部成功，要么全部失 ......
谈论关于Redis产生的分布式ID获取为空问题
一:事故 在项目测试中，遇到一个事件创建失败问题，追踪日志发现分布式ID的获取值为空，导致后续表写入异常。 经排查锁定相关方法，具体方法经简化如下： @Transactional public String testRedisTrans(){ redisTemplate.setEnableTrans ......
minio分布式文件存储系统
1什么是minio？ MinlO是一个基于Apache License v2.0开源协议的对象存储服务。它兼容亚马逊S3云存储服务接口，非常适合于存储大容量非结构化的数据。例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等,而一个对象文件可以是任意大小,从几kb到最大5T不等。MinlO是一个非 ......
分布式事务实现
1）基于XA协议的两阶段提交（2PC） XA 规范主要 定义了 ( 全局 ) 事务管理器 ( Transaction Manager ) 和 ( 局部 ) 资源管理器 (Resource Manager ) 之间的接口。 2）两阶段提交 事务的提交分为两个阶段：预提交阶段(Pre-Commit Ph ......
对接三方支付平台 + 分布式锁
# 一、对接三方支付平台 > 第三方支付平台是指平台提供商在商家和银行之间建立连接，供以支付等交易活动 ### 1.1 支付宝支付、微信支付……（以支付宝为例） 1、通过支付宝的开放平台对接 ： https://open.alipay.com/ 2、进入平台API的当面付 ： https://ope ......
读发布！设计与部署稳定的分布式系统（第2版）笔记01_生产环境的生存法则
 # 1. 系统“应该”做什么 ## 1.1. 添加所需特性 # 2. 系统“不应该”做什么 ## 2.1. 崩溃 ......
分布式书库收集
作者：北山望链接：https://zhuanlan.zhihu.com/p/636255330来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 从基础知识到应用知识的联系与应用，从计算机体系结构，计算机组成原理，操作系统，Linux内核，分布式系统设计与开发理论，分布式 ......
【课设】基于华为HarmonyOS 2.0多端分布式技术的家教系统
期末大作业 设计报告 名 称： Java应用技术 题 目：新兴分布式多端开发技术 院 系： 班 级： 学 号： 学生姓名： 指导教师： 设计周数： 目 录 一、设计概要... 1 二、设计正文... 1 1. 需求分析（至少写1页）.. 1 1.1. 用户需求：... 1 1.2. 业务需求... ......
分布式系统探讨
Application and control plane configuration | Dapr Docs Dapr是运行时，因为其事件驱动和可移植特点，使得使用任何语言、任何框架的开发人员都可以轻松的开发并运行在云服务器上或边缘节点上的的弹性的、无状态的或有状态的应用程序。 Dapr与平台无关 ......
机构设计之高流量QPS微服务分布式设计
1，系统设计原则及技术指标 系统-技术设计原则 好系统是迭代出来的。 先解决核心的问题，预测未来可能出现的问题。第一版 1000人，所以单机。 不要过度复杂化系统。 先行的规划和设计。 对现有的问题有方案，对未来系统有预案。 无状态原则： 无状态：对单词请求的处理，不依赖于其他的请求。 处理一次请求 ......
Zookeeper入门实战(5)-分布式锁
在分布式环境中，当需要控制对某一资源的不同进程并发访问时就需要使用分布式锁；可以使用 ZooKeeper + Curator 来实现分布式锁，本文主要介绍 Curator 中分布式锁的使用，文中所使用到的软件版本：Java 1.8.0_341、Zookeeper 3.7.1、curator 5.4. ......
SkyWalking分布式链路追踪工具的基本使用
### 下载 我们需要一个监控中心，还有一个 java agents工具 apache-skywalking-apm(显示/存储多个程序的指标数据)，APM 是 Application Performance Management 的缩写 和 skywalking-agent(收集单个程序的指标数据 ......
构建高可用、高效、安全和可靠的分布式系统：Spring Cloud为开发人员提供便利
Spring Cloud是一个基于Spring框架的云应用开发工具箱，可以快速构建分布式应用程序。它为开发人员提供了许多有用的功能，例如服务发现、负载均衡、配置管理和应用监控等，这些功能可以使分布式系统更加稳定和可靠。 如果您还没有了解过Spring Cloud，我强烈建议您观看以下这个视频链接： ......
华为云新一代分布式数据库GaussDB，给世界一个更优选择
摘要：与伙伴一起，共建繁荣开放的GaussDB数据库新生态。 本文分享自华为云社区《华为云新一代分布式数据库GaussDB，给世界一个更优选择》，作者：华为云头条。 6月7日，在华为全球智慧金融峰会2023上，华为常务董事、华为云CEO张平安以“一切皆服务，做好金融数字化云底座和使能器”为主题发表演 ......
【转】分布式定时任务调度系统技术选型
我们先思考下面几个业务场景的解决方案: 支付系统每天凌晨1点跑批，进行一天清算，每月1号进行上个月清算 电商整点抢购，商品价格8点整开始优惠 12306购票系统，超过30分钟没有成功支付订单的，进行回收处理 商品成功发货后，需要向客户发送短信提醒 类似的业务场景非常多，我们怎么解决？ 为什么我们需要 ......
分布式数据库 Join 查询设计与实现浅析
本文记录 Mysql 分库分表 和 Elasticsearch Join 查询的实现思路，了解分布式场景数据处理的设计方案。文章从常用的关系型数据库 MySQL 的分库分表Join 分析，再到非关系型 ElasticSearch 来分析 Join 实现策略。逐步深入Join 的实现机制。 ......
墨天轮国产关系型分布式数据库榜单解读
墨天轮榜单中现已收录85款关系型分布式数据库产品，为何分布式数据库受到关注？有哪些值得关注的关系型分布式数据库？分布式技术发展有何趋势、难点，本文进行了详细解读。 ......
跟着源码学IM(十一)：一套基于Netty的分布式高可用IM详细设计与实现(有源码)
本文将要分享的是如何从零实现一套基于Netty框架的分布式高可用IM系统，它将支持长连接网关管理、单聊、群聊、聊天记录查询、离线消息存储、消息推送、心跳、分布式唯一ID、红包、消息同步等功能，并且还支持集群部署。 ......
Openjob：更强大、更智能的新一代分布式任务调度框架
基于Akka架构的新一代分布式任务调度框架。支持多种定时任务、延时任务、工作流设计，采用无中心化架构，底层使用一致性分片算法，支持无限水平扩容。 ......
分布式存储服务---MinIo
**MinIO简介** MinIO基于Apache License v2.0开源协议的对象存储服务，可以做为云存储的解决方案用来保存海量的图片，视频，文档。由于采用Golang实现，服务端可以工作在Windows,Linux, OS X和FreeBSD上。配置简单，基本是复制可执行程序，单行命令可以 ......
Hadoop的完全分布式搭建
# Hadoop分布式安装 ## 集群规划 | 主机名 | Hadoop10 | Hadoop11 | Hadoop12 | | | | | | | 网络 | 192.168.10.10 | 192.168.10.11 | 192.168.10.12 | | 用户 | hadooproot | ha ......
vCenter下标准交换机迁移到分布式交换机
一、在vCenter上创建分布式交换机 可以创建默认端口组，或者后面手动创建 二、添加主机 分配上行链路，选择未使用的物理适配器，建议每台分配两个冗余的物理网卡 管理VMkernel适配器，这里先不迁移 迁移虚拟机网络，这也先不迁移，点完成即可； 三，迁移标准交换机端口组到分布式交换机 右击分布式交 ......
几种分布式文件系统的优缺点归纳与总结
1、常用的分布式文件系统有以下几种： 1. Hadoop HDFS：Hadoop Distributed File System（HDFS）是Apache Hadoop生态系统的一部分，用于存储和处理大数据。 2. Ceph：Ceph是一个开源的分布式存储系统，提供了高可用性、高性能和可扩展性。 3 ......
分布式缓存
常见缓存中间件：Memcached mongoDB RedisMemcached： 简单 key-value 数据结构，不支持持久化（可重启缓存功能并不算），不支持集群（客户端自己控制），性能强。mongoDB： 数据结构非常全面的文档型数据库，支持持久化，支持集群，性能中等。Redis：技能五种基 ......