分布式
centos7上Hadoop2.7.2完全分布式部署
1.规划 node1 node2 node3datanode datanode datanodenamenode resourcemanager secondarynamenodenodemanager nodemanager nodemanager 2.设置环境 2.1 修改hostname主机名 ......
centos7.9上hadoop-2.7.2伪分布式部署
1.安装jdk 1.1 在Oracle官网上现在jdk1.8 ，然后上传到Linux服务器中 1.2 安装jdk rpm -ivh jdk-8u371-linux-x64.rpm 2 创建部署用户 hadoop useradd -d /hadoop hadoop echo 123 |passwd - ......
分布式机器学习(Parameter Server)
分布式机器学习中，参数服务器(Parameter Server)用于管理和共享模型参数，其基本思想是将模型参数存储在一个或多个中央服务器上，并通过网络将这些参数共享给参与训练的各个计算节点。每个计算节点可以从参数服务器中获取当前模型参数，并将计算结果返回给参数服务器进行更新。 为了保持模型一致性，通 ......
分布式CAP理论
分布式：一个大业务拆分成多个小业务并部署在不同的服务器上 CAP：一个分布式系统最多只能同时满足一致性（Consistency）、可用性（Availability）和分区容错性（Partition tolerance）这三项中的两项。 网络问题不可避免，P（分区容错性）是一定需要保证的 如果此时有节 ......
分布式基础之CAP理论&BASE理论
1.CAP理论1.1 含义C（Consistency一致性）、Availability（可用性）、Partition Tolerance（分区容错性）。1.2 具体意义一致性（Consistency） : 所有节点访问同一份最新的数据副本可用性（Availability）: 非故障的节点在合理的时间 ......
分布式事务的21种武器 - 6
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
十二、集成分布式事务组件Seata
什么是Seata 网址：seata.io Seata 是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。Seata 将为用户提供了 AT、TCC、SAGA 和 XA 事务模式，为用户打造一站式的分布式解决方案。 seata术语 TC (Transaction Coordin ......
《kubernetes 系列》2. 云原生和分布式系统的存储基石 etcd 的介绍、架构和概念解析
### 楔子 **本次来介绍 etcd，它负责 k8s 元数据的存储，k8s 的状态数据全部存储在 etcd 上面。随着 k8s 的火热，etcd 也越来越受到重视，截止到此刻，它在 GitHub 的 star 数已经达到了 43.5k，很多软件工程师都在使用 etcd 去解决业务场景中遇到的痛点。 ......
分布式事务的21种武器 - 5
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 4
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 1
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式事务的21种武器 - 3
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
SpringCloud config分布式配置 访问远程仓库gitee
服务端远程连接gitee上的配置文件 1.导包 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XM ......
集群、服务、微服务、分布式
先说集群： 可以理解为一批部署了相同服务的机器，这些机器的集合就是集群。 为啥要使用集群部署，因为当一款应用或软件使用人数越来越多，流量越来越大的时候，单台机器的资源已经无法满足使用需求，这时候就要加机器，现在硬件很便宜，集群的数量可以很庞大，他们之前相互配合工作，就能处理大量的用户请求，当然这中间 ......
【ubuntu】jmeter分布式部署
1、起因 由于系统并发预期的吞吐量在8000左右， 自己的win10以及另一台win10根本吃不住这个并发jmeter资源，想继续增加并发是不可能了，所以只能搞到公司的服务器上，不然没法出报告啊 2、部署环境 咱就搞三个执行机 3、分别安装部署JDK和Jmeter https://www.cnblo ......
分布式事务的21种武器 - 2
>*在分布式系统中，事务的处理分布在不同组件、服务中，因此分布式事务的ACID保障面临着一些特殊难点。本系列文章介绍了21种分布式事务设计模式，并分析其实现原理和优缺点，在面对具体分布式事务问题时，可以选择合适的模式进行处理。原文: [Exploring Solutions for Distribu ......
分布式文件系统GFS
# 0.简介 文件系统应该具有的接口： - 基本接口：创建（Create）、删除（Delete）、打开（Open）、关闭（Close）、读取（Read）、写入（Write） 对于打开和关闭我们可以把它理解成读取与写入的前置和后置动作，在GFS中不必太多关注它。 - 拓展的接口：生成快照（Snapsh ......
Git 分布式版本控制工具
# Git 分布式版本控制工具 ## 概述 ### 开发中的实际场景 - 备份 - 代码还原 - 协同开发 - 追溯代码的编写人和编写时间 ### 版本控制器的方式 - 集中式版本控制工具：版本库放在中央服务器，使用时需联网下载。 - 分布式版本控制器：每个节点都有完整的版本库，多人协作只需要推送各 ......
分布式任务调度：xxl-job
一、XXL-JOB概述 官方GitHub地址：https://github.com/xuxueli/xxl-job 中文文档地址：https://www.xuxueli.com/xxl-job 1.1、什么是xxl-job XXL-JOB 是一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单 ......
docker部署分布式minio集群文件服务器
1. 环境准备 准备4台服务器，3台服务器做minio集群，一台服务器做minio的nginx 入口服务器 IP 服务 操作系统 192.168.0.165 Minio-Nginx CentOS 7.9 192.168.0.109 Minio-1 CentOS 7.9 192.168.0.114 M ......
DolohinScheduler 分布式任务调度框架 代码流程分解
一、DS-API模块 ```java - 执行工作流 - 定时任务执行 更新 schedule 参数 -/schedule 新增 schedule 参数 做了什么事？ 将schedule参数 用ScheduleParam类进行解析 有效性校验，而后解析保存到 t_ds_schedules 表内，更新 ......
分布式架构及Dubbo
# Dubbo的前世今生 ## 一、分布式系统的架构演进过程 Dubbo框架的出现是分布式系统演进的结果，我们先来回顾一下分布式系统的演进过程 ### 1 单应用架构  # ......
单体框架、分布式框架、微服务框架
单体框架、分布式框架、微服务框架 1.单体框架 1.概念 将业务功能集中在一个项目中开发，打包部署。(意思就是说，所有的功能在一个项目中进行实现，不用管复杂的架构设计，只需要创建一个项目，有功能就往这个项目里面加代码就ok了) 2.优点 1、框架简单，不需要搞复杂的框架设计 2、部署成本低：把写好的 ......
聊聊Seata分布式解决方案AT模式的实现原理
### 什么是Seata分布式事务解决方案 Seata是一款开源的分布式事务解决方案，致力于提供高性能和简单易用的分布式事务服务。为用户提供了AT、TCC、SAGA和XA事务模式，为用户打造一站式的分布式解决方案。 ### AT模式 AT模式目前来看是Seata框架独有的一种模式，其它的分布式框架上 ......
性能测试-JMeter分布式测试及其详细步骤
性能测试是软件测试中的一种，它可以衡量系统的稳定性、扩展性、可靠性、速度和资源使用。它可以发现性能瓶颈，确保能满足业务需求。很多系统都需要做性能测试，如Web应用、数据库和操作系统等。
性能测试种类非常多，有些概念也很相近：
我将在本文详细介绍JMeter的分布式测试，我们经常会通过它来做性能测试。... ......
分布式电源选址定容，储能选址定容。 matlab程序 粒子群(
分布式电源选址定容，储能选址定容。matlab程序粒子群(考虑时序与不考虑)、改进灰狼（考虑时序）：以总网损最低或电压偏差最低为目标函数。多目标粒子群：网损和电压。IEEE69节点系统为例（matpower进行潮流计算，可换其他节点，可改分布式电源数据例子为3个分布式电源），对比接入前后电压、网损变 ......
分布式系统的技术栈
构建分布式系统的目的是增加系统容量，提高系统的可用性。说白了就是干两件事。一是提高整体架构的吞吐量，服务更多的并发和流量，二是为了提高系统的稳定性，让系统的可用性更高。 1、如何提高整体架构的吞吐量，服务更多的并发和流量？ 1） 提高系统性能的常用技术 缓存系统：在分布式系统中，添加缓存可以有效提高 ......
分布式系统架构的问题和解决思路
1、亚马逊做分布式服务架构，遇到了哪些问题，如何解决的？ 1) 采用分布式系统架构后出现的问题： 一个线上故障的工单会在不同的服务和不同的团队中转过来转过去； 每个团队都可能成为一个潜在的 DDoS 攻击者，除非每个服务都要做好配额和限流； 监控和查错变得更为复杂。除非有非常强大的监控手段； 服务发 ......
分布式的原理
分布式系统是建立在网络之上的多台计算机，这些计算机通过网络协调工作，共同完成某个任务的系统。 分布式系统具有以下主要特点： 多台计算机：由多台网络连接的计算机组成。 分布式数据存储：数据存放在多台计算机上，需要进行分布式数据管理。 分布式计算：任务在多台计算机上共同完成，需要进行负载均衡和协调。 无 ......
阿里飞天系统中分布式系统设计
一、协调服务(女蜗) 女娲（Nuwa）系统为飞天**提供高可用的协调服务**（Coordination Service），是构建各类分布式应用的核心服务，它的作用是采用类似文件系统的树形命名空间来让分布式进程互相协同工作。例如，当集群变更导致特定的服务被迫改变物理运行位置时，如服务器或者网络故障、配 ......