1.15种值得关注的源码大数据技术
2.从零开始OGG实时同步数据至缓存数据库Redis详解

15种值得关注的大数据技术

       尽管Apache Hadoop可能不再像以前那样占主导地位，但要谈论大数据几乎是源码不可能的，而无需提及用于分布式处理大数据集的源码开源框架。Forrester预测，源码未来两年内%的源码大型企业将采用它(Hadoop和Spark等相关技术)进行大数据分析。

       多年来，源码闹钟c源码Hadoop已成长为涵盖相关软件的源码整个生态系统，许多商业大数据解决方案都基于Hadoop。源码实际上，源码Zion Market Research预测，源码到年，源码基于Hadoop的源码产品和服务市场将继续以%的复合年增长率增长，届时其价值将达到.4亿美元，源码高于年的源码.9亿美元。

       Hadoop的源码主要供应商包括Cloudera, Hortonworks和MapR，领先的公共云都提供支持该技术的服务。

       Apache Spark是Hadoop生态系统的一部分，但是它的使用变得如此广泛,以至于值得拥有自己的一类。它是用于在Hadoop中处理大数据的引擎,其速度比标准Hadoop引擎MapReduce快一百倍。

       在《AtScale 大数据成熟度调查》中，有%的受访者说他们已经在生产中部署了Spark,还有%的受访者在开发中有Spark项目。显然，领取赞源码对该技术的兴趣在不断增长，并且许多具有Hadoop产品的供应商还提供基于Spark的产品。

       R是另一个开放源代码项目，是一种旨在处理统计信息的编程语言和软件环境。它是数据科学家的宠儿,由R基金会管理，可根据GPL 2许可获得。许多流行的集成开发环境(IDE) ，包括Eclipse和VisualStudio,都支持该语言。几种对各种编程语言的流行度进行排名的组织表示，R已经成为世界上最受欢迎的语言之一。

       为了更轻松地访问其庞大的数据存储，许多企业正在建立数据湖。这些是巨大的数据存储库，可以从许多不同的来源收集数据并将其以自然状态存储。数据湖与数据仓库不同，数据仓库也从不同的源收集数据,但是对其进行处理并对其进行结构化以进行存储。在这种情况下，湖泊和仓库的隐喻是相当准确的。如果数据像水，那么数据湖是自然的，没有像水体一样经过过滤，小程源码而数据仓库更像是存储在架子上的水瓶的集合。

       随着大数据趋势的发展，NoSQL数据库变得越来越流行。NoSQL数据库提供存储非结构化数据并提供快速性能的功能，尽管它们没有提供与传统关系数据库管理系统(RDBMS)相同的一致性级别。NoSQL数据库的流行推动了其市场增长，据联合市场研究公司(Allied MarketResearch)称，到年， NoSQL市场的价值将达到亿美元。

       预测分析是大数据分析的子集，它试图根据历史数据预测未来的事件或行为。它利用数据挖掘，建模和机器学习技术来预测接下来会发生什么。近年来，人工智能技术的进步极大地提高了预测分析解决方案的功能。许多供应商如Microsoft, IBM, SAP, SAS, Statistica, RapidMiner,KNIME等都提供了预测分析解决方案。

       在任何计算机系统中，内存(也称为RAM)都比长期存储快几个数量级。如果大数据分析解决方案可以处理存储在内存中的数据，而不是存储在硬盘驱动器上的数据，那么它的强支撑源码执行速度将大大提高。而这正是内存数据库技术所做的。许多领先的企业软件供应商，包括SAP, Oracle, Microsoft和IBM,现在都提供内存数据库技术。

       大数据安全解决方案是企业日益关注的重大问题。安全是与大数据相关的第二大关注领域。最流行的大数据安全解决方案类型包括身份和访问控制(由%的受访者使用)，数据加密(%) 和数据隔离(%) 。数十家供应商提供大数据安全解决方案，并且ApacheRanger (Hadoop生态系统的一个开源项目)也吸引了越来越多的关注。

       数据治理是与安全性概念密切相关的话题。数据治理是一个广泛的主题，涉及与数据的可用性，可用性和完整性有关的所有过程。它提供了基础，可确保用于大数据分析的数据准确，适当,并提供审计跟踪，以便业务分析人员或执行人员可以查看数据的来源。

       在数据科学家和其他大数据专家供不应求的情况下，并要求高薪，许多组织正在寻找大数据分析工具,以使业务用户能够自助满足自己的需求。Tableau,音频特效源码 Microsoft, IBM， SAP， Splunk, Syncsort, SAS, TIBCO, Oracle等多家商业智能和大数据分析供应商已在其解决方案中添加了自助服务功能。

       尽管人工智能(AI) 的概念与计算机的历史差不多,但该技术仅在过去几年才真正可用。在许多方面，大数据趋势推动了AI的发展，特别是在该学科的两个子集中:机器学习和深度学习。

       流分析是一个圣杯，对于组织来说，具有分析数据流能力的流分析可以立即或尽可能接近地提供见解。IBM，Software AG, SAP, TIBCO, Oracle,DataTorrent, SQL stream, Cisco, Informatica等供应商提供了承诺流分析功能的产品。

       边缘计算系统没有将数据传输到集中式服务器进行分析，而是在网络边缘非常接近创建数据的位置分析数据。边缘计算系统的优势在于，它减少了必须通过网络传输的信息量,从而减少了网络流量和相关成本。边缘计算系统的发展引起了人们的关注，被认为是“下一件大事”。

       区块链技术是比特币数字货币基础上的分布式数据库技术，也是前瞻性分析师和风险投资家的最爱。区块链数据库的独特之处在于，一旦写入数据，事后便无法删除或更改。高度安全性使其成为银行，保险，医疗保健，零售等敏感行业中大数据应用程序的绝佳选择。IBM，AWS, Microsoft和多家初创公司已推出基于区块链技术的实验性或入门性解决方案。

       规范分析为公司提供建议，帮助他们实现预期的结果。尽管目前很少有具有这些功能的产品，但这是组织开始体验预测分析的好处之后的下一个大投资领域。

从零开始OGG实时同步数据至缓存数据库Redis详解

       在数据处理的快速化需求领域中，实时数据处理和实时查询已经成为了企业和组织获取即时洞察力的重要途径。内存数据库，作为一种高性能的数据存储和查询工具，其在实时数据场景下的应用日益广泛。然而，将大规模生成的数据实时同步至内存数据库仍是具有挑战性的任务。本文将带您深入了解Redis和GoldenGate for BigData的概念、部署方法，并详细介绍如何借助GoldenGate实现高效的数据实时同步到Redis的过程实践。

       Redis是基于键值对的缓存与存储系统，通过提供多种键值数据类型来适应不同场景下的缓存与存储需求。它不仅仅是一个简单的缓存工具，同时也能够胜任消息队列、任务队列以及主数据库等不同的角色。Redis的核心特性使其在实时数据处理和查询方面表现出色。

       GoldenGate for BigData是Oracle推出的产品，它作为可插入功能运行到Oracle GoldenGate Java交付框架中。此产品支持主流的大数据平台，包括Apache Hadoop、Cloudera Hadoop (CDH) 等，并支持主要的应用程序如HDFS、Hive、HBase、Kafka等。GoldenGate for BigData软件通过Redis Handler支持将更改数据捕获复制到Redis，并以三种不同的数据结构存储这些数据：Hash Map、Streams和JSON。

       在GoldenGate for BigData中，散列映射（Hash Map）是最常见的用户用例，其中Key是被推送到Redis的表和数据行的唯一标识符，存储在每个键位置的数据结构是一个散列映射，其中键是列名，值是列值。OGG trail文件将包含插入、更新以及删除操作，这些操作可以将数据推送到Redis。Redis Handler将处理这些操作，将数据作为Java字符串推送到Redis哈希映射中，或者通过设置配置属性来保留原始字节值。

       Redis流（Streams）类似于Kafka主题，其中Redis键是流名，流的值是推送到Redis流的单个消息，每个消息通过时间戳和消息推送时的偏移量来标识。每个单独消息的值是一个散列映射，其中键是列名，值是列值。每个操作及其相关数据都会传播到Redis Streams，显示为新消息。

       JSONs（JSONs）中，键是被推送到Redis的表和数据行的唯一标识符，值为JSON对象，其中键是列名，值是列值。通过OGG trail文件文件将包含插入、更新和删除操作，这些操作可以将数据推送到Redis。Redis Handler将处理这些操作，将数据作为JSON对象存储在Redis中。

       接下来，我们通过安装部署环境来实现通过OGG将其他类型数据库的数据以Hash Map格式同步到Redis数据库中。首先，进行Redis的安装和部署。在Linux环境中，选择源码编译安装Redis-6.2，由于依赖包要求较低，整个安装过程较为简单。然后，下载并安装GoldenGate for BigData c。在安装Java之前，需要配置操作系统镜像ISO配置zypper本地源，以在局域网内在线安装Java。之后，安装OGG .8和Jedis客户端。

       在启动数据同步时，需确保Redis配置正确，并且用户具有相应的权限以执行相应的Redis命令。创建索引时可能会遇到权限相关报错。总结来说，通过Oracle GoldenGate for BigData和Redis的结合使用，我们可以实现大规模生成的数据的实时同步至内存数据库。Redis作为高性能的内存数据库，为实时数据处理提供了强大的支持；而GoldenGate for BigData作为关键工具，实现了异构数据库之间的实时数据同步。结合这两个先进技术工具，无论是实时查询、实时报表还是实时分析等场景，Redis的优势都将得到充分发挥。