架构 单体 分布式
02_内核架构
宏内核与微内核 宏内核：所有内核代码都编译成一个二进制，所有的内核代码都运行在一个大内核地址空间里，内核代码可以直接访问和调用，效率高且性能好 微内核：把操作系统分成多个独立的功能模块，每个功能模块之间的访问需要通过消息来完成，因此效率没有那么高 宏内核架构优点：设计简洁和性能较好 微内核架构优点： ......
R语言GARCH族模型：正态分布、t、GED分布EGARCH、TGARCH的VaR分析股票指数|附代码数据
全文链接：http://tecdat.cn/?p=31023 最近我们被客户要求撰写关于GARCH族模型的研究报告，包括一些图形和统计输出。 如何构建合适的模型以恰当的方法对风险进行测量是当前金融研究领域的一个热门话题 （ 点击文末“阅读原文”获取完整代码数据******** ）。 VaR方法作为当 ......
期末云计算基础架构平台实操题
1.docker sudo yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ ......
六边形战士与六边形架构：强大能力的双重赋能
在技术和体育的领域中，有时候我们会发现一些独特的形容词和比喻，它们能够生动地传达出一种强大、高效、灵活的感觉。今天，我们将聚焦在两个看似截然不同的领域，即运动员和软件架构，通过“六边形战士”和“微服务架构”这两个独特的形容词，探讨它们在各自领域的表现和如何共同构建强大的能力。 六边形战士：力量与灵活 ......
使用docker搭建deepspeed多机多卡分布式微调大模型环境
前置环境：两台可以互通的centos服务器（服务器1、服务器2），docker，NVIDIA驱动 docker创建overlay共享网络 1）选用服务器1作为manage节点进行初始化，执行docker swarm init Swarm initialized: current node (ly4d ......
大数据治理技术核心，可扩展的元数据架构设计（转）
转自：https://blog.csdn.net/weixin_45727359/article/details/127662364 元数据管理是随着数据仓库的建设逐渐完善起来的，这也决定了元数据管理主要集中在数据领域。例如数据结构、数据加工转换关系等。而随着我们对元数据理解的不断深入，其实元数据广 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-2 session的基本原理与create命令的使用
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12697 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
分布式事务管理
南航航班号sno，日期sdate，国航航班号zno，日期zdate，姓名uname，身份证号uid，用户账号uno，电商账号bno 根代理ROOT begin transcation; input(sno, sdate, zno, zdate, uname, uid, uno, bno)； EXEC ......
Rocketmq学习1——Rocketmq架构&消息存储&刷盘机制
系列文章目录和关于我 一丶什么是Rocketmq RocketMQ是一款开源的分布式消息中间件，由阿里巴巴团队最初开发，并于2016年贡献给Apache软件基金会，后成为Apache顶级项目。RocketMQ设计用于处理高并发、高吞吐量的场景，支持丰富的消息交互模式。 以下是RocketMQ的一些关 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-7 watcher常用使用场景
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12703 1 重点关注 1.1 watcher常用使用场景 集群中统一资源配置 2 课程内容 3 Coding ......
中间件 ZK分布式专题与Dubbo微服务入门 4-4 理解watcher机制
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12700 1 重点关注 1.1 理解watcher机制 针对每个节点的操作，都会有一个监督者 wathcer 当监控的某个对象 ( znode) 发生了变化，则触发watcher事件 zk中的w ......
Kubernetes架构及安装
K8s架构 k8s内部是有几个组件的，分别是controller manager，api-server，scheduler，kubelet以及etcd，kube-proxy还有k8s客户端kubectl controller manage 首先介绍的是controller manager，他是相当于 ......
软件架构实践 V2：第一章
第一部分 预想架构 第一章 架构商业周期 作为设计过程的重要组成部分，现在已经提出了构架的概念。构架是本书的主题。“软件构架”包含大型软件系统的结构。系统的构架视图是抽象的，它不考虑实现、算法和数据表示的细节，集中研究“黑盒”元素的行为和交互。在设计具有所期望属性的系统时，开发软件架构是第一步。 定 ......
分布式架构设计思路和要点
分布式架构设计 设计分布式架构时，需要考虑以下几个关键思路和要点： 弹性和可伸缩性：分布式架构应具备弹性和可伸缩性，能够根据负载情况自动调整资源分配。这可以通过采用水平扩展和自动化调度等技术实现。 容错和高可用性：分布式系统应具备容错和高可用性能力，即使部分组件或节点发生故障，整个系统仍能正常运行。 ......
分布式锁
分布式锁 在多线程环境中，如果多个线程同时访问共享资源（例如商品库存、外卖订单），会发生数据竞争，可能会导致出现脏数据或者系统问题，威胁到程序的正常运行。 为什么需要分布式锁? 举个例子，假设现在有 100 个用户参与某个限时秒杀活动，每位用户限购 1 件商品，且商品的数量只有 3 个。如果不对共享 ......
架构整洁之道笔记4
软件架构 架构师的定位 工作实质：规划如何将系统切分为组件，并安排好组件之间的排列关系，以及组件之间互相通信的方式。 目的：更好地对组件开发、部署、运行、维护。 如果想设计一个更方便推进各项工作的系统，策略就是在设计中尽可能长时间地保留尽可能多的可选项。 开发的角度 难以开发的系统也不会健康长久。 ......
太强了！全新一代分布式任务调度与计算框架！
PowerJob（原 OhMyScheduler） —— 全新一代分布式调度与计算框架，能让您轻松完成作业的调度与繁杂任务的分布式计算。 ......
分布式存储ceph——（6）ceph osd故障硬盘更换
故障状态： 实施更换步骤： （1）关闭ceph集群数据迁移： osd硬盘故障，状态变为down。在经过mod osd down out interval 设定的时间间隔后，ceph将其标记为out，并开始进行数据迁移恢复。为了降低ceph进行数据恢复或scrub等操作对性能的影响，可以先将其暂时关闭 ......
分布式存储ceph——（5）ceph 添加/删除osd
一、添加osd： 当前ceph集群中有如下osd，现在准备新添加osd： （1）选择一个osd节点，添加好新的硬盘： （2）显示osd节点中的硬盘，并重置新的osd硬盘： 列出节点磁盘：ceph-deploy disk list rab1 擦净节点磁盘：ceph-deploy disk zap ra ......
分布式存储ceph——（4）ceph常用命令
1、查看ceph集群配置信息 1 ceph daemon /var/run/ceph/ceph-mon.$(hostname -s).asok config show 2、在部署节点修改了ceph.conf文件，将新配置推送至全部的ceph节点 1 ceph-deploy --overwrite-c ......
开启Android学习之旅-2-架构组件实现数据列表及添加(kotlin)
Android Jetpack 体验-官方codelab 1. 实现功能 使用 Jetpack 架构组件 Room、ViewModel 和 LiveData 设计应用； 从sqlite获取、保存、删除数据； sqlite数据预填充功能； 使用 RecyclerView 展示数据列表； 2. 使用架构 ......
中间件 ZK分布式专题与Dubbo微服务入门 4-1 zookeeper常用命令行操作
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12698 1 重点关注 1.1 常用命令操作 ./zkCli.sh 启动客户端ls / 查看节点信息ls2 / 查看节点状态信息stat / 查看节点状态信息ls2 = ls+statget / ......
中间件 ZK分布式专题与Dubbo微服务入门 3-3 zookeeper的作用体现
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12696 1 重点关注 1.1 zookeeper的作用 master节点选举，主节点挂了以后，从节点就会接手工作，并且保证这个节点是唯一的，这也是所谓首脑模式，从而保证我们的集群是高可用的 统 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-2 zk客户端连接关闭服务端，查看znode
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12695 1 重点关注 1.1 zookeeper客户端操作命令 启动 ./zkCli.sh 停止 Ctrl C 其他命令 启动后 help 查看节点 ls / 2 课程内容 2.1 操作步骤 ......
中间件 ZK分布式专题与Dubbo微服务入门 3-1 zk数据模型介绍
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12694 1 重点关注 1.1 zookeeper数据模型概念介绍 zk的数据模型也可以理解为linux/unix的文件目录 : /usr/local/. 每一个节点都称之为znode，它可以有 ......
一图看懂深圳产业分布
龙华区的产业关键词离不开：电子信息、人工智能、生命健康、时尚创意； 坪山区的主导产业为：生命健康、新能源产业、新一代信息技术产业； 光明区牢牢抓紧：智能产业、新材料产业、生命科学产业以及现代服务业等“3+1”产业； 龙岗区则以：ICT、AIoT、电子元器件、绿色能源、生命科学、创意生活等六大产业集群 ......
中间件 ZK分布式专题与Dubbo微服务入门 2-4 zookeeper配置文件介绍，运行zk
0 课程地址 https://coding.imooc.com/lesson/201.html#mid=12692 1 重点关注 1.1 最常用的目录 bin 执行启动关闭zookeeper命令 conifg 进行配置文件配置 recipes 案例代码 docs 文档参考 2 课程内容 2.1 zo ......
day26 海量数据下的EFK架构优化升级-初识日志收集组件Fluentd （9.4-9.5）
9.4-1-海量数据下的EFK架构优化升级(1) 一、数据背景 在海量数据场景下，日志管理和分析是一项重要任务。为了解决这个问题，EFK 架构（Elasticsearch + Fluentd + Kibana）已经成为流行的选择。然而，随着数据规模的增加，传统的 EFK 架构可能面临性能瓶颈和可用性 ......
分布式存储ceph——（3）openstack对接ceph存储后端
ceph对接openstack环境 一、使用rbd方式提供存储如下数据： （1）image：保存glanc中的image； （2）volume存储：保存cinder的volume；保存创建虚拟机时选择创建新卷； （3）vms的存储：保存创建虚拟机时不选择创建新卷； 二、实施步骤： （1）客户端也要有 ......
新版日志系统建设，利用clickhouse替换ES架构
目录背景采集端消费端版本迭代性能对比Vector存储端引擎支持数据模型架构设计集群监控展示端子目录路由配置账号设置免密码登录总结 背景 随着业务量的大幅提升，日志存储要求越来越大，写入IO越来越高，需要对整个日志系统进行升级，使用ES作为存储引擎的成本也越来越高，需要一个针对日志场景，更高性价比的存 ......