spark使用记录

发布时间 2023-10-27 09:34:44作者: Yr-Zhang

单词统计的示例

1:客户端登录

 2:使用链式编程输出结果文件

sc.textFile("hdfs://bda1node01.sqtxj.com:8020/txj/resources/chedai/chedai.csv").flatMap(_.split(",")).map((_,1)).reduceByKey(_+_).saveAsTextFile("/spark/out")

spark安装后示例(求pai)

1: