Spark
Spark入门
# 一、Spark框架概述 ## 1.1 spark是什么 定义：Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。 弹性分布式数据集RDD:RDD 是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。 ......
dolphinscheduler 调度spark on k8s
dolphinscheduler 对于k8s的支持可以使用spark任务模式选择k8s 配置，当然也可以直接通过k8s 集成通过容器镜像模式运行，两种方式各有利弊，但是完全基于k8s模式会比较方便些 集成玩法说明 spark 任务模式 此模式我们需要配置SPARK_HOME 给每个dolphinsc ......
Spark
# SparkCore ## RDD基础 ### 定义 在 Spark 的编程接口中，每一个数据集都被表示为一个对象，称为 RDD。RDD 是 Resillient Distributed Dataset(弹性分布式数据集)的简称，是一个只读的(不可变的)、分区的(分布式的)、容错的、延迟计算的 ......
五分钟了解Spark之RDD！！
# Spark之探究RDD > 如何了解一个组件，先看看官方介绍！  进入RDD.scala，引入眼帘的是这么一段描 ......
Spark
# 001 Spark框架 1、spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。 2、Spark VS Hadoop > 时间 Hadoop 2003（Yahoo开发）-> 2011(1.0) -> 2013（2.X） Spark 2009（伯克利大学）-> 2013（Apach ......
spark2
Rdd 几个基本的转换算子 窍诀 ：textfile得到的是按行读取的集合 filter就是一行为对象 split对象也是行，按照空格将行分割“ “1“ '2" ”” ”flat 展平，，将外层的引号去掉 map就是生成一个键值对的形式，gruopbykey就是生成键＋迭代器的形式 ruduceby ......
invalidate the cache in Spark by running 'REFRESH TABLE tableName' command in SQL or by recreating the Dataset/DataFrame involved
``` ... 1 more Caused by: java.io.FileNotFoundException: File does not exist: hdfs://ns1/user/hive/warehouse/dw.db/dw_uniswapv3_position_detail/pk_day ......
源码安装Spark
# 前提条件 Spark 使用的语言是 Scala，而 Scala 需要运行在 JVM 之上。因此，搭建 Spark 的运行环境应该是 JDK 和 Scala。由于学习 Spark 源码的参考书籍是《Spark内核设计的艺术架构设计与实现》，所以就按照作者安装的版本进行安装： * Java8 * S ......
大数据生态圈/Hadoop/Spark/Flink/数据仓库/实时分析/推荐系统
课程实用性很强，老师讲的很透彻，都是面试容易问到的；紧扣当前企业所用技术，对于从事大数据或者转行大数据行业，都有很大的帮助。 比屋教育，秉承“活学活用”的教育理念，集合资深专家讲师团队，依托完善的线上教学管控平台，专注于大数据、云计算、互联网架构师等领域的职业技能培训，着力培养满足互联网企业实际需求 ......
spark 的踩坑记录（二）spark 字符串截取问题
前言 接之前的spark踩坑记录，回想起当时折磨很久的一个问题，结果导致开发中花了很长时间才完全解决。主要原因为spark 和 java 的字符串截取函数不一致导致的。 主要技术框架背景介绍 spark ： 2.4.3scala ： 2.11.12 背景 实际工作中会处理很多文本数据流，例如文章信息 ......
未安装HBase时Hive on Spark任务卡顿处理如何解决
操作场景 此功能适用于Hive组件。 按如下操作步骤设置参数后，在未安装HBase的环境执行Hive on Spark任务时，可避免任务卡顿。 说明：Hive on Spark任务执行Hive on Spark任务。如果没有安装HBase，默认在执行Spark任务时，会尝试去连接Zookeeper访 ......
绝密100个Spark面试题，熟背100遍，猛拿高薪
文章很长，且持续更新，建议收藏起来，慢慢读！[**疯狂创客圈总目录 博客园版**](https://www.cnblogs.com/crazymakercircle/p/9904544.html) 为您奉上珍贵的学习资源 ： 免费赠送 :[**《尼恩Java面试宝典》**](https://www. ......
用 Spark's MinHashLSH进行文本语料去重
（1）MinHashLSH进行文本去重的算法原理 MinHash (最小哈希) 是一种用于估计两个集合的 Jaccard 相似度的方法，而 MinHashLSH (局部敏感哈希) 则是一种使用 MinHash 来近似查找相似项的技术。 MinHash 算法基于以下观察：如果我们随机排列所有可能的元素 ......
mac spark+hive+hadoop 数据分析环境搭建(单机简版)
apache产品下载地址： http://archive.apache.org/dist/ mysql5.6 brew方式安装配置： Icon mysql做为元数据存储使用。 brew search mysql brew install mysql@5.6 配置mysqlhome： export M ......
Spark的一些重要概念
# Shuffle的深入理解 什么是Shuffle，本意为洗牌，在数据处理领域里面，意为将数打散。 问题：shuffle一定有网络传输吗？有网络传输的一定是Shuffle吗？ ## Shuffle的概念 通过网络将数据传输到多台机器，数据被打散，但是有网络传输，不一定就有shuffle，Shuffl ......
org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead.
# 问题描述 org.apache.spark.shuffle.FetchFailedException: The relative remote executor(Id: 21), which maintains the block data to fetch is dead. 最近在做Spark ......
Spark中RDD的特殊算子和重要概念
# RDD特殊的算子 ## cache、persist 将数据缓存到内存，第一次触发Action，才会将数据放入内存，以后在触发Action，可以复用前面内存中缓存的数据，可以提升技术效率 cache和persist的使用场景：一个application多次触发Action，为了复用前面RDD的数据 ......
Spark
[spark官网](https://spark.apache.org/ "spark官网") ``` https://spark.apache.org/ ``` ##### Scala学习 [Scala学习](https://www.cnblogs.com/rbcd/articles/1752466 ......
Spark中RDD的Action算子
# RDD的Action算子 Action算子会触发Job的生成，底层调用的是sparkContext.runJob方法，根据最后一个RDD，从后往前，切分Stage，生成Task 所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但 ......