1.大数据核心技术有哪些？

大数据核心技术有哪些？

       简单来说就是码分以下几点

       1、数据采集与预处理：

       Flume NG实时日志收集系统，码分支持在日志系统中定制各类数据发送方，码分用于收集数据；

       Zookeeper是码分一个分布式的，开放源码的码分微信 订单系统源码分布式应用程序协调服务，提供数据同步服务。码分网站源码提取在线

       2、码分数据存储：

       Hadoop作为一个开源的码分框架，专为离线和大规模数据分析而设计，码分HDFS作为其核心的码分存储引擎，已被广泛用于数据存储。码分

       HBase，码分是码分萌萌战争源码一个分布式的、面向列的码分开源数据库，可以认为是码分hdfs的封装，本质是数据存储、NoSQL数据库。仿爱合伙源码

       3、数据清洗：MapReduce作为Hadoop的查询引擎，用于大规模数据集的并行计算

       4、数据查询分析：

       Hive的转折因子指标源码核心工作就是把SQL语句翻译成MR程序，可以将结构化的数据映射为一张数据库表，并提供 HQL(Hive SQL)查询功能。

       Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。

       5、数据可视化：对接一些BI平台，将分析得到的数据进行可视化，用于指导决策服务。