一、大数据平台组件总结
1、数据存储
HDFS，HBase，Kudu等
2、数据收集和迁移
常用技术：flume，canal，sqoop，datax，waterdrop 等
3、任务调度
常用技术：azkaban，oozie，dophinscheduler，airflow 等
4、部署运维
常用技术：cloudera manager, ambari，SaltStack 等
5、监控告警
常用技术：Alertmanager+Prometheus，zabbix，openfalcon 等
6、安全和权限
常用技术：Kerberos，ranger 等
7、资源调度
YARN，Mesos，Kubernetes
8、数据计算
MapReduce, Spark, Flink
9、交互式查询
Impala, Presto
10、在线实时分析
ClickHouse，Kylin，Doris，Druid，Kudu等
11、元数据管理
Metacat擅长管理数据字典，Atlas擅长管理数据血缘。