分布式
分布式文件存储 - FastDFS 工具类
一、FastDFSClient package com.changgou.file.util; import org.csource.common.NameValuePair; import org.csource.fastdfs.*; import org.slf4j.LoggerFactory; ......
开源通用高性能的分布式id序列组件
原文地址：[https://ntopic.cn/p/2023062101/](https://ntopic.cn/p/2023062101/) - Gitee源代码仓库：[https://gitee.com/obullxl/sequence-jdbc](https://gitee.com/obull ......
零侵入式分布式链路日志minbox-logging使用文档v1.0
MinBox Logging MinBox Logging 是一款分布式、零侵入式的链路日志分析框架，支持 SpringCloud 微服务架构下配置使用，内部封装了 RestTemplate 、 OpenFeign 两种方式透传链路信息。 零侵入式 MinBox Logging 无需使用注解配置采集 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记16_握手和考验机
 # 1. 握手 ## 1.1. 发送方和接收方之间的信号传递过程 ## 1.2. 模拟调制解调器使用一种握手形式 ......
8第八章 分布式任务调度&人工审核
# 第八章 分布式任务调度&人工审核 ## [目标](#目标) - 能够理解什么是分布式任务调度 - 能够掌握xxl-job的基本使用 - 能够使用xxl-job解决黑马头条项目中定时任务的功能 - 能够完成自媒体文章人工审核功能 - 能够完成自媒体端文章上下架同步的问题 ## [1 分布式任务调 ......
4第四章 分布式事务与自媒体素材管理
# 第四章 分布式事务与自媒体素材管理 ## 目标 - 能够理解什么是分布式事务 - 能够理解CAP定理和BASE理论 - 能够掌握seata要解决的问题 - 能够完成seata集成到项目中使用 - 能够掌握分布式文件系统fastdfs的基本使用 - 能够完成素材管理功能 - 能够完成自媒体文章列 ......
DeepSpeed + Kubernetes 如何轻松落地大规模分布式训练
随着 ChatGPT 的广泛应用，各种大规模语言模型层出不穷，其中包括 EleutherAI 推出的 200 亿参数的 GPT-NeoX-20B 和 BigScience 发布的 1760 亿参数的 Bloom 模型。 ......
vivo 自研鲁班分布式 ID 服务实践
本文介绍了什么是分布式id，分布式id的业务场景以及9种分布式id的实现方式，同时基于vivo内部IT的业务场景，介绍了自研鲁班分布式Id服务的实践。 ......
关于微服务-分布式任务调度
应用场景 分布式任务调度主要用于以下场景： 分布式系统中的定时任务：在分布式系统中，有时需要在不同的服务节点上执行一些定时任务，例如数据同步、数据清理、定期报表生成等。分布式任务调度可以确保任务在各个节点上按时执行，并提供任务管理和监控能力。 大规模数据处理：当需要处理大量数据时，分布式任务调度可以 ......
【AI 充电】揭秘大语言模型实践：分布式推理的工程化落地才是关键！
## 分布式推理成为大模型落地的首选方案 随着 3 月 15 日 OpenAI 重磅发布了 GPT4，其在司法考试、程序编程上的惊艳表现，将大家对大模型的热情推向了顶点，人们纷纷讨论是否我们已经进入到通用人工智能的时代。与此同时，基于大语言模型的应用也如雨后春笋出现在大家面前，其在协同办公、客服对话 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记15_快速失败和替换
 # 1. 快速失败而非缓慢响应 ## 1.1. 如果响应缓慢比没有响应更糟，那么最坏的情况肯定是缓慢的失败响应 ......
Adam优化算法在大规模分布式模型训练中的应用：模型整合与性能提升
作者：禅与计算机程序设计艺术 标题：45. Adam优化算法在大规模分布式模型训练中的应用：模型整合与性能提升 1. 引言 1.1. 背景介绍 随着深度学习模型的规模越来越大，训练过程需要大量的计算资源和时间。为了让模型能够高效地训练，一些优化算法被提出，以减少训练时间和提高模型性能。其中，Adam ......
分布式计算框架-MapReduce
MapReduce是分散->汇总模式的分布式计算框架，可供开发人员开发相关程序进行分布式数据计算。 MapReduce提供了2个编程接口:Map Reduce 其中 Map功能接口提供了分散的功能，由服务器分布式对数据进行处理。 Reduce功能接口提供了汇总（聚合）的功能，将分布式的处理结果汇总统 ......
读发布！设计与部署稳定的分布式系统（第2版）笔记14_稳态
 # 1. 最大限度地避免直接对生产系统进行人为操作最为妥善 ## 1.1. 人为干预生产环境会导致问题 ### ......
MinIO——分布式文件系统
对象如图片、视频、文档等存储方式对比： 优点 缺点 服务器磁盘： 开发便捷、成本低 扩展困难 分布式文件系统： 容易实现扩容 复杂度高 第三方存储：开发简单，功能强大，免维护 收费 docker拉取镜像，创建容器 docker run -p 9000:9000 --name minio -d --r ......
AT模式【分布式事务】
1、导入 maven 依赖 <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-seata</artifactId> <exclusions> <!--版本较低，1.3. ......
redis-分布式锁优化思路
1.加锁的代码块，粒度越小越好，语句越少越好，更不容易出现"插队"的现象 2.分段锁思路：以"超卖"为例，原本是待促销200件商品，一把锁，现改成10款20件商品的促销，改成10把锁，当并发小于10的时候，甚至都不需要锁，就可以并发安全 ......
redis-分布式锁样例
redisTemplate： ``` string lockKey = "product_101" string clientID = UUID.randomUUID().toString() bool result = redisTemplate.opsForValue().setIfAbsent ......
分布式锁的实现方式介绍和代码示例
分布式锁的实现方式介绍 分布式锁是一种用于分布式系统中实现互斥访问的机制。在分布式系统中，多个进程或线程可能同时访问共享资源，为了保证数据的一致性和正确性，需要使用分布式锁来实现资源的互斥访问。 分布式锁的基本原理是通过在分布式环境下协调各个节点之间的操作，确保同一时间只有一个节点可以获取到锁，从而 ......
redis-分布式锁注意事项
lockKey:商品标识 value:当前线程标识 1.确保每把锁同一时间能且仅能上一次 setnx(set if not exists):当锁不存在时才上锁 redisTemplate.opsForValue().setIfAbsent(lockKey,value) 没加上锁需要返回错误码 直接让 ......
jmeter分布式压测
Jmeter分布式压测 一、环境准备 1.克隆虚拟机 2.在所有linux系统/etc/hosts文件中增本机的ip和主机名 Vi /etc/hosts 添加ip地址和主机名 3.检查每台压力机是否都有安装，jdk和jmeter 4.把执行的脚本文件，上传到主压力机的/home目录下，参数文件放在每 ......
爬虫：爬到的数据存到mysql中、爬虫和下载中间件、加代理，cookie、header、加入selenium、集成selenium、==去重规则源码分析(布隆过滤器)、布隆过滤器、scrapy-redis实现分布式爬虫
[toc] ### 爬到的数据存到mysql中 ```python class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root' ......
分布式任务elasticjob整合springboot本地多服务启动（附源码）
Elastic-Job是一个分布式调度的解决方案，由当当网开源，它由两个相互独立的子项目Elastic-Job-Lite和ElasticJob-Cloud组成，使用Elastic-Job可以快速实现分布式任务调度。 Elastic-Job的github地址：https://github.com/el ......
读发布！设计与部署稳定的分布式系统（第2版）笔记13_断路器与舱壁
断路器能有效防止集成点、层叠失效、系统容量失衡和响应缓慢等危及稳定性的反模式出现，它能与超时模式紧密协作，跟踪调用超时失败 ......
如何设计和优化并行计算中的大规模分布式系统和网络
[toc] 《如何设计和优化并行计算中的大规模分布式系统和网络》技术博客文章 1. 引言 1.1. 背景介绍 随着互联网和物联网等技术的快速发展，计算需求日益增长，对计算性能的要求也越来越高。传统的单机计算已经难以满足大规模计算的需求，分布式系统和网络技术逐渐成为主流。并行计算作为一种重要的分布式计 ......
redis分布式锁实现
```java @Autowired private RedisTemplate redisTemplate; //有死锁问题，设置锁的过期时间防止死锁 public void incr() { Boolean lock = redisTemplate.opsForValue().setIfAbse ......
分布式事务、CAP理论、BASE理论
# 分布式事务、CAP理论、BASE理论 ## 什么是分布式事务？ ### 首先理解什么是本地事务？ 平常我们在程序中控制事务是利用数据库本身的事务特性来实现的，比如spring中的@Transactional注解，因此叫**数据库事务**。由于应用主要靠关系数据库来控制事务，此数据库只属于该应用， ......
Jenkins 分布式节点控制-6
Jenkins 分布式节点控制一．打开代理1.系统管理-安全-全局安全设置2.打开代理二.创建节点1.进入创建节点页面系统管理-系统配置-节点管理2.创建节点名称3.填写节点信息4．启动slave1-apitest节点启动名称参考，节点内第一条提示curl -sO http://10.196.131 ......
单体架构、分布式架构与微服务的区别
一、优缺点对比 优点 缺点 案例 单体架构 架构简单、部署成本低 高度耦合(维护困难、升级困难)、扩展性差 学生管理系统 分布式架构 松耦合(服务耦合)、扩展性好(利于升级和扩展) 架构复杂(服务调用关系复杂)、难度大 京东、淘宝 微服务 服务拆分粒度更小、服务更独立、耦合度更低 架构非常复杂、运维 ......