1.HDFS纠删码
2.关于linux学习路线的源码阅读问题 请教前辈
3.怎么投eos区块链,怎么投eos区块链链接
4.Apache Ranger整合Hadoop、Hive、源码阅读Spark实现权限管理

HDFS纠删码

           å‰¯æœ¬æ˜¯æ˜‚贵的--在HDFS中默认的3副本机制有%的存储空间和其它的资源（比如：网络带宽）开销。然而，相对于低 I/O 活动的暖数据集和冷数据集，在正常的操作期间对其额外的副本很少访问，但是仍然消耗与第一副本相同数量的资源。

            å› æ­¤ï¼Œä¸€ä¸ªè‡ªç„¶çš„改进是使用纠删码（Erasure Coding）替代副本机制，它使用更少的存储空间提供相同的容错级别，一个典型的纠删码设置，会使得存储空间的开销不超过%;一个EC文件的副本因子是无意义的，它一直保持为1，并且不能通过命令 -setrep修改EC的副本因子的值。

            ç£ç›˜é˜µåˆ—（RAID）是在存储系统中，使用EC最出名的。RAID使用条 带的方式实现的EC，它提供逻辑上序列的数据（比如文件）到更小的单元（比如比特、字节、或块），并存储连续的单元到不同的磁盘上。在本指南的其余部分，这种条带分布单元被称为条带单元（或者单元），对于每一个条带原始数据单元，计算并存储一定数量的奇偶校验单元，这个过程叫做编码。通过对剩余的数据和奇偶校验单元解码计算，可以恢复任意条带单元的错误。

            å°†EC和HDFS集成可以提高存储效率，然而同样提供传统的基于副本机制的HDFS持久化部署，例如：3副本的文件有6个块，将会消耗 6*3 = 个块的磁盘空间，但是使用EC（6个数据，3个校验）部署，他将只消耗9个块的磁盘空间。

            åœ¨EC的环境中，条带有若干主要的优点，首先，它能在线EC（使用EC的格式直接写数据），避免转换阶段，直接节省存储空间。在线EC通过并行利用多磁盘主轴增强I/O性能；这在高性能的网络的集群中尤其需要。其次，它自然的分发小文件到多个DataNodes，消除了将多个文件绑定到一个编码组的需要，这会很大的简化文件的操作，比如删除、配额汇报和在联邦集群中不同的Namespace之间迁移数据等。在典型的HDFS集群中，小文件占总存储空间3/4以上的消耗，为了更好的支持小文件，在第一阶段工作中，HDFS支持条带的EC。在未来，HDFS也会支持连续的EC布局，查看设计文档，更多的信息在issue HDFS- 中讨论。

             条带的HDFS文件是由逻辑上的块组构成，每个块组包含一定数量的内部块，为了减少额外的块对NameNode内存消耗，提出了新的分层块命名协议，块组的ID可以从它的内部块的任意 ID 中推断出来，这允许块组级别的管理，而不是块级别的。

             客户端读写路径被增强，可以并行处理一个块组的多个内部块；在输出/写入路径， DFSStripedOutputStream 用于管理一组数据流，每个数据流对应一个DataNode，该DataNode在当前块组中存储一个内部块，这些数据流大多是异步工作；协调器负责操作整个块组，包括结束当前的块组、分配新的块组等等。在输入 / 读路径， DFSStripedInputStream 将请求的逻辑字节范围的数据转换为存储在DataNodes上的内部块的范围，然后并行的发布读请求，在出现故障时，它发出额外的读请求用于解码。

             DataNode会运行一个额外的 ErasureCodingWorker (ECWorker) 任务用于后台恢复失败的EC块，当NameNode检测到一个失败的EC块，它会选择一个DataNode去做恢复的工作，恢复任务通过心跳响应传递至DataNode，这个过程类似于副本块重新复制失败的数据块，重建失败的块有3个主要的任务：

             使用专用的线程池并行的读取输入数据，基于EC策略，它将所有的读请求调度到所有的源节点，并且只读取最小数据量的输入块数用于重构。

             从输入数据中解码出新的数据块和奇偶校验块，所有丢失的数据块和校验块一起解码。

             解码完成后，恢复的数据块被传输到目标DataNode节点。

             为了使纠删码策略适合异构的工作方式，我们允许HDFS集群上的文件和目录具有不同的副本和纠删码策略，纠删码策略封装了如何编码/解码文件，每一个策略由以下信息部分定义：

             这个包括在EC组（比如：6+3）中数据块和校验块的数量，以及编解码器算法（比如： Reed-Solomon,源码阅读 XOR ）

            è¿™å†³å®šäº†æ¡å¸¦è¯»å†™çš„粒度，包括缓冲区大小和编码工作。

           ç­–略被命名为数据块数量-校验块数量-块单元的大小，当前支持6种内置策略：RS-3-2-k, RS-6-3-k, RS--4-k, RS-LEGACY-6-3-k, XOR-2-1-k å’ŒREPLICATION。

            REPLICATION是一种特殊的策略，它只能被设置在目录上，强制目录采用3副本策略，而不是继承它的祖先的纠删码策略，该策略使3副本目录与纠删码目录交叉成为可能。

            REPLICATION ç­–略是一直启用的，而其它的内置策略在默认的情况下是禁用的。

            ç±»ä¼¼äºŽHDFS存储策略，纠删码策略是设置在目录上的，当一个文件被创建，它继承离它最近的祖先目录的EC策略。

            ç›®å½•çº§åˆ«çš„EC策略只影响在该目录下创建的新文件，一旦一个文件已经被创建，它的纠删码策略可以被查询，但是不能改变，如果一个纠删码文件被重命名到一个不同的EC策略的目录中，该文件会保留它之前存在的EC策略，转换一个文件到不同的EC策略需要重写它的数据，重写数据是通过拷贝文件（比如：通过distcp）而不是重命名文件。

            æˆ‘们允许用户通过XML文件的方式去定义它们自己的EC策略，该XML文件必须要有下面的3部分：

                1） layoutversion:  表示EC策略文件格式的版本。

                2） schemas: 这个包括所有用户定义的EC约束

                3） policies:  这个包括所有用户定义的EC策略，每个策略由schema id和条带单元的大小（cellsize）构成，

            åœ¨hadoop conf目录中有一个名称叫 user_ec_policies.xml.template的样本EC策略的XML文件。

            因特尔 ISA-L 代表因特尔智能存储加速库， ISA-L 是为存储应用程序优化的底层函数开源的集合，它包括在 AVX 和 AVX2 指令集上快速的块  Reed-Solomon 类型的纠删码优化，HDFS纠删码可以利用ISA-L去加速编解码计算，ISA-L支持大多数开源的操作系统，包括linux和windows，ISA-L默认是不启动的，有关如何启动ISA-L，请看下面的说明。

            çº åˆ ç åœ¨é›†ç¾¤çš„CPU和网络方面提出了额外的要求。

            ç¼–码和解码工作会消耗HDFS客户端和DataNodes上额外的CPU。

            çº åˆ ç æ–‡ä»¶ä¹Ÿåˆ†å¸ƒåœ¨æœºæž¶ä¹‹é—´ï¼Œç”¨äºŽæœºæž¶å®¹é”™ï¼Œè¿™æ„å‘³ç€å½“读取和写入条带文件，大多数操作是在机架外的，因此，网络对分带宽非常重要的。

            å¯¹äºŽæœºæž¶å®¹é”™æ¥è¯´ï¼Œè‡³å°‘拥有与配置的EC条带宽度相同的机架数量也是很重要的，对于EC策略RS (6,3)，这意味着至少要有9个机架，理想的情况下要有或者个机架用于处理计划内和计划外的停机。对于机架数量少于条带宽度的集群，HDFS不能维护机架容错，但是仍然会分散条带文件到多个节点为了节点级别的容错。

            é»˜è®¤æƒ…况下，所有内置的纠删码策略是被禁用的，但是定义在参数dfs.namenode.ec.system.default.policy中的除外，该策略在默认情况下是启用的。集群管理员可以根据集群的大小和希望的容错属性使用命令hdfs ec [-enablePolicy -policy <policyName>]启用一组策略；例如，对于一个拥有9个机架的集群，类似RS--4-k è¿™æ ·çš„策略不能达到机架级别的容错，而策略RS-6-3-k æˆ–者RS-3-2-k更适合。如果管理员只关心节点级别的容错，在至少有个DataNodes的集群中策略RS--4-k也是适合的。

            ç³»ç»Ÿé»˜è®¤çš„EC策略可以通过参数‘dfs.namenode.ec.system.default.policy’ 来配置，在这种配置下，当命令 â€˜-setPolicy’没有指定策略名称的参数时，默认的策略将会被使用。

            é»˜è®¤æƒ…况下，参数 â€˜dfs.namenode.ec.system.default.policy’ 的值为“RS-6-3-k”，使用Reed-Solomon和XOR实现的编解码器可以使用客户端和DataNode节点指定如下的关键字配置：io.erasurecode.codec.rs.rawcoders用来指定默认的RS编解码器，io.erasurecode.codec.rs-legacy.rawcoders用于指定legacy RS编解码器，io.erasurecode.codec.xor.rawcoders用于指定XOR编解码器；用户也可以使用类似关键字io.erasurecode.codec.self-defined-codec.rawcoders来配置自定义的编解码器。这些关键字的值是带有回退机制的编码器名称的列表。这些编解码器工厂以指定的配置的值有序的被加载，直到一个编解码器被成功的加载，默认的RS和XOR编解码器配置更喜欢本地实现，而不是纯java实现；RS-LEGACY没有本地编解码器实现，因此默认的只能是纯java的实现；所有这些编解码器都有纯java的实现；对于默认的RS编解码器，它也有一个本地实现，利用英特尔 ISA-L库提高编解码器性能；对于XOR编解码器，也支持利用英特尔 ISA-L库提升编解码的性能的本地实现；请参阅“Enable Intel ISA-L”获取更详细的信息。默认的RSLegacy的实现是纯java的，默认的RS和XOR是使用了因特尔ISA-L库本地实现的，在DataNodes上的纠删码后台恢复工作也可以使用下面的参数被调优：

             1） dfs.datanode.ec.reconstruction.stripedread.timeout.millis --条带读取超时时间，默认值 ms

             2） dfs.datanode.ec.reconstruction.stripedread.buffer.size --读取服务的缓存大小，默认值 K

             3） dfs.datanode.ec.reconstruction.threads -- DataNode用于后台重构工作的线程数量，默认值 8 个线程

             4） dfs.datanode.ec.reconstruction.xmits.weight -- 与副本块恢复 相比，EC后台恢复任务使用的xmits 的相对权重，默认值0.5，设置它的值为0去禁用计算EC恢复任务的权重，也就是说，EC任务总是1 xmits。通过计算出读数据流的数量和写数据流的数量的最大值来计算出纠删码恢复任务的xmits。例如，如果一个EC恢复任务需要从6个节点读取数据，往2个节点写入数据，它拥有的 xmits 是max(6, 2) * 0.5 = 3，复制文件的恢复任务总是计算为1xmit，NameNode利用dfs.namenode.replication.max-streams减去DataNode上总的xmitsInProgress（合并来自副本文件和EC文件的xmits） ï¼Œä»¥ä¾¿è°ƒåº¦æ¢å¤ä»»åŠ¡åˆ°è¿™ä¸ªDataNode。

            HDFS利用因特尔ISA-L库去提高默认的RS本地实现的编解码器的编解码计算速度，开启并使用英特尔ISA-L库，需要3步：

                1）构建ISA-L库，请参阅官方的网站 â€œ /org/isa-l/ ” 获取详情信息。

                2）构建带有ISA-L支持的Hadoop，请参阅源码中BUILDING.txt文件中的 â€œBuild instructions for Hadoop”中的“Intel ISA-L build options”部分。

                3）使用-Dbundle.isal拷贝 isal.lib ç›®å½•ä¸­çš„内容到最终的tar文件中。

            ä½¿ç”¨è¯¥tar文件部署Hadoop，确保ISA-L是在HDFS客户端和DataNodes端是可用的。为了验证ISA-L能够被Hadoop正确的检测到，运行命令  hadoop checknative来验证。

            HDFS提供了EC的子命令用于执行纠删码相关的管理命令。

            hdfs ec [generic options] [-setPolicy -path <path> [-policy <policyName>] [-replicate]] [-getPolicy -path <path>] [-unsetPolicy -path <path>] [-listPolicies] [-addPolicies -policyFile <file>] [-listCodecs] [-enablePolicy -policy <policyName>] [-disablePolicy -policy <policyName>] [-help [cmd ...]]

           ä¸‹é¢æ˜¯å…³äºŽæ¯ä¸ªå‘½ä»¤çš„详情：

            [-setPolicy -path <path> [-policy <policyName>] [-replicate]]

            åœ¨æŒ‡å®šçš„目录的路径上设置纠删码策略。

            path:HDFS中的目录，这是一个强制的参数，设置一个策略只影响新创建的文件，不影响已经存在的文件。

            policyName:在这个目录下的文件上使用的纠删码策略，如果配置了参数‘dfs.namenode.ec.system.default.policy’，这个参数可以被省略，这时路径的EC策略将会被设置成配置文件中的默认值。

            -replicate：在目录上应用指定的REPLICATION策略，强制目录采用3副本复制方案。

            -replicate å’Œ-policy <policyName>是可选的参数，它们不能同时被指定。

            [-getPolicy -path <path>]

            èŽ·å–在指定路径上目录或者文件的纠删码策略的详情。

            [-unsetPolicy -path <path>]

            å–消之前使用setPolicy åœ¨ç›®å½•ä¸Šè®¾ç½®çš„纠删码策略。如果目录是从祖先中继承的纠删码策略，unsetPolicy æ˜¯ä¸€ä¸ªç©ºæ“ä½œï¼Œå³åœ¨æ²¡æœ‰æ˜Žç¡®è®¾ç½®ç­–略的目录上取消策略将不会返回错误。

            [-listPolicies ]

            åˆ—出所有在HDFS中注册的纠删码策略，只有启用的策略才能使用setPolicy å‘½ä»¤ã€‚

            [-addPolicies -policyFile <file>]

            æ·»åŠ ä¸€ä¸ªçº åˆ ç ç­–略的列表，请参阅模板策略文件etc/hadoop/user_ec_policies.xml.template，最大的条带单元大小被定义在属性 â€˜dfs.namenode.ec.policies.max.cellsize’ 中，默认值是4MB，当前的HDFS中总共允许用户添加个策略，被添加的策略ID的范围是~，如果已经有个策略被添加，再添加策略将会失败。

            [-listCodecs]

            èŽ·å–系统中支持的纠删码编解码器和coder列表。一个coder是一个编解码器的实现，一个编解码器可以有不同的实现，因此会有不同的coder，编解码器的coders采用后备的顺序被列出。

            [-removePolicy -policy <policyName>]

            ç§»é™¤ä¸€ä¸ªçº åˆ ç ç­–略。

            [-enablePolicy -policy <policyName>]

            å¯ç”¨ä¸€ä¸ªçº åˆ ç ç­–ç•¥

            [-disablePolicy -policy <policyName>]

            ç¦ç”¨ä¸€ä¸ªçº åˆ ç ç­–略。

            ç”±äºŽå¤§é‡çš„技术挑战，在纠删码文件上不支持某些HDFS的写操作，比如hflush, hsync å’Œappend操作。

            åœ¨çº åˆ ç æ–‡ä»¶ä¸Šä½¿ç”¨append()将会抛出IOException。

            åœ¨DFSStripedOutputStream ä¸Šæ‰§è¡Œhflush() å’Œhsync()是空操作，因此，在纠删码文件上调用hflush() æˆ–者hsync()不能保证数据被持久化。

            å®¢æˆ·ç«¯å¯ä»¥ä½¿ç”¨ StreamCapabilities  æä¾›çš„API去查询一个OutputStream æ˜¯å¦æ”¯æŒhflush() å’Œhsync()，如果客户端渴望数据通过hflush() å’Œhsync()持久化，当前的补救措施是在非纠删码目录中创建3副本文件，或则使用FSDataOutputStreamBuilder#replicate()提供的API在纠删码目录中创建3副本文件。

关于linux学习路线的问题 请教前辈

       很多同学接触Linux不多，对Linux平台的源码阅读开发更是一无所知。而现在的源码阅读趋势越来越表明，作为一 个优秀的源码阅读lars算法源码软件开发人员，或计算机IT行业从业人员，源码阅读掌握Linux是源码阅读一种很重要的谋生资源与手段。下来我将会结合自己的源码阅读几年的个人开发经验，及对 Linux，源码阅读更是源码阅读类UNIX系统，及开源软件文化，源码阅读谈谈Linux的源码阅读学习方法与学习中应该注意的一些事。

       就如同刚才说的源码阅读，很多同学以前可能连Linux是源码阅读什么都不知道，对UNIX更是一无所知。所以我们从最基础的讲起，对于Linux及UNIX的历史我们不做多谈，直接进入入门的学习。

       Linux入门是很简单的，问题是你是否有耐心，是否爱折腾，是否不排斥重装一类的大修。没折腾可以说是学不好Linux的，鸟哥说过，要真正了解Linux的分区机制，对LVM使用相当熟练，没有次以上的Linux装机经验是积累不起来的，所以一定不要怕折腾。

       由于大家之前都使用Windows，所以我也尽可能照顾这些“菜鸟”。我的推荐，如果你第一次接触Linux，那么首先在虚拟机中尝试它。虚拟机我推荐Virtual Box，我并不主张使用VM，原因是VM是闭源的，并且是收费的，我不希望推动盗版。当然如果你的Money足够多，可以尝试VM，但我要说的是即使是VM，不一定就一定好。付费的软件不一定好。首先，Virtual Box很小巧，Windows平台下安装包在MB左右，而VM动辄MB，虽然功能强大，但资源消耗也多，何况你的需求Virtual Box完全能够满足。所以，还是自己选。如何使用虚拟机，istio源码解析系列是你的事，这个我不教你，因为很简单，不会的话Google或Baidu都可以，英文好的可以直接看官方文档。

       现在介绍Linux发行版的知识。正如你所见，Linux发行版并非Linux，Linux仅是指操作系统的内核，作为科班出生的你不要让我解释，我也没时间。我推荐的发行版如下：

       UBUNTU适合纯菜鸟，追求稳定的官方支持，对系统稳定性要求较弱，喜欢最新应用，相对来说不太喜欢折腾的开发者。

       Debian，相对UBUNTU难很多的发行版，突出特点是稳定与容易使用的包管理系统，缺点是企业支持不足，为社区开发驱动。

       Arch，追逐时尚的开发者的首选，优点是包更新相当快，无缝升级，一次安装基本可以一直运作下去，没有如UBUNTU那样的版本概念，说的专业点叫滚动升级，保持你的系统一定是最新的。缺点显然易见，不稳定。同时安装配置相对Debian再麻烦点。

       Gentoo，相对Arch再难点，考验使用者的综合水平，从系统安装到微调，内核编译都亲历亲为，是高手及黑客显示自己技术手段，按需配置符合自己要求的系统的首选。

       Slackware与Gentoo类似。

       CentOS，社区维护的RedHat的复刻版本，完全使用RedHat的源码重新编译生成，与RedHat的兼容性在理论上来说是最好的。如果你专注于Linux服务器，如网络管理，架站，那么CentOS是你的选择。

       LFS，终极黑客显摆工具，完全从源代码安装，编译系统。安装前你得到的quartz 源码分析 pdf只有一份文档，你要做的就是照文档你的说明，一步步，一条条命令，一个个软件包的去构建你的Linux，完全由你自己控制，想要什么就是什么。如果你做出了LFS，证明你的Linux功底已经相当不错，如果你能拿LFS文档活学活用，再将Linux从源代码开始移植到嵌入式系统，我敢说中国的企业你可以混的很好。

       你得挑一个适合你的系统，然后在虚拟机安装它，开始使用它。如果你想快速学会Linux，我有一个建议就是忘记图形界面，不要想图形界面能不能提供你问题的答案，而是满世界的去找，去问，如何用命令行解决你的问题。在这个过程中，你最好能将Linux的命令掌握的不错，起码常用的命令得知道，同时建立了自己的知识库，里面是你积累的各项知识。

       再下个阶段，你需要学习的是Linux平台的C/C++开发，同时还有Bash脚本编程，如果你对Java兴趣很深还有Java。同样，建议你抛弃掉图形界面的IDE，从VIM开始，为什么是VIM，而不是Emacs，我无意挑起编辑器大战，但我觉得VIM适合初学者，适合手比较笨，脑袋比较慢的开发者。Emacs的键位太多，太复杂，我很畏惧。然后是GCC，Make，Eclipse（Java，C++或者）。虽然将C++列在了Eclipse中，但我并不推荐用IDE开发C++，因为这不是Linux的文化，容易让你忽略一些你应该注意的问题。IDE让你变懒，懒得跟猪一样。如果你对程序调试，测试工作很感兴趣，关于旅游asp源码GDB也得学的很好，如果不是GDB也是必修课。这是开发的第一步，注意我并没有提过一句Linux系统API的内容，这个阶段也不要关心这个。你要做的就是积累经验，在Linux平台的开发经验。我推荐的书如下：C语言程序设计，谭浩强的也可以。C语言，白皮书当然更好。C++推荐C++ Primer Plus，Java我不喜欢，就不推荐了。工具方面推荐VIM的官方手册，GCC中文文档，GDB中文文档，GNU开源软件开发指导（电子书），汇编语言程序设计（让你对库，链接，内嵌汇编，编译器优化选项有初步了解，不必深度）。

       如果你这个阶段过不了就不必往下做了，这是底线，最基础的基础，否则离开，不要霍霍Linux开发。不专业的Linux开发者作出的程序是与Linux文化或UNIX文化相背的，程序是走不远的，不可能像Bash，VIM这些神品一样。所以做不好干脆离开。

       接下来进入Linux系统编程，不二选择，APUE，UNIX环境高级编程，一遍一遍的看，看遍都嫌少，如果你可以在大学将这本书翻烂，里面的内容都实践过，有作品，你口头表达能力够强，你可以在面试时说服所有的考官。（可能有点夸张，但APUE绝对是圣经一般的读物，即使是Windows程序员也从其中汲取养分，Google创始人的案头书籍，扎尔伯克的床头读物。）

       这本书看完后你会对Linux系统编程有相当的了解，知道Linux与Windows平台间开发的差异在哪？它们的优缺点在哪？我的总结如下：做Windows平台开发，很苦，微软的c erp管理源码系统API总在扩容，想使用最新潮，最高效的功能，最适合当前流行系统的功能你必须时刻学习。Linux不是，Linux系统的核心API就来个，记忆力好完全可以背下来。而且经久不变，为什么不变，因为要同UNIX兼容，符合POSIX标准。所以Linux平台的开发大多是专注于底层的或服务器编程。这是其优点，当然图形是Linux的软肋，但我站在一个开发者的角度，我无所谓，因为命令行我也可以适应，如果有更好的图形界面我就当作恩赐吧。另外，Windows闭源，系统做了什么你更本不知道，永远被微软牵着鼻子跑，想想如果微软说Win8不支持QQ，那腾讯不得哭死。而Linux完全开源，你不喜欢，可以自己改，只要你技术够。另外，Windows虽然使用的人多，但使用场合单一，专注与桌面。而Linux在各个方面都有发展，尤其在云计算，服务器软件，嵌入式领域，企业级应用上有广大前景，而且兼容性一流，由于支持POSIX可以无缝的运行在UNIX系统之上，不管是苹果的Mac还是IBM的AS系列，都是完全支持的。另外，Linux的开发环境支持也绝对是一流的，不管是C/C++，Java，Bash，Python，PHP，Javascript，。。。。。。就连C#也支持。而微软除Visual Stdio套件以外，都不怎么友好，不是吗？

       如果你看完APUE的感触有很多，希望验证你的某些想法或经验，推荐UNIX程序设计艺术，世界顶级黑客将同你分享他的看法。

       现在是时候做分流了。 大体上我分为四个方向：网络，图形，嵌入式，设备驱动。

       如果选择网络，再细分，我对其他的不是他熟悉，只说服务器软件编写及高性能的并发程序编写吧。相对来说这是网络编程中技术含量最高的，也是底层的。需要很多的经验，看很多的书，做很多的项目。

       我的看法是以下面的顺序来看书：

       APUE再深读 – 尤其是进程，线程，IPC，套接字

       多核程序设计 - Pthread一定得吃透了，你很NB

       UNIX网络编程 – 卷一，卷二

       TCP/IP网络详解 – 卷一 再看上面两本书时就该看了

       5.TCP/IP 网络详解 – 卷二 我觉得看到卷二就差不多了，当然卷三看了更好，努力，争取看了

       6.Ligposeup

       执行cleos命令

       aliascleos='docker-composeexeckeosd/opt/eos/bin/cleos-Hnodeos'

       cleosgetinfo

       cleosgetaccountinita

       多节点参考

       问题解决：

       如碰到超时问题

       在启动nodeos时添加?--max-transaction-time=参数

       对于专业摄影师而言，会遇到各种不同的拍摄环境，不同拍摄环境对相机的要求也有所不同。严寒的大地，灼热的沙漠，大雨滂沱的密林等，要求相机能够应对这所有的环境。EOS不仅拥有快速准确自动对焦和反应迅速等优异性能，还有以防尘防水滴功能为代表的可靠性，以及丰富的镜头群和多彩的附件等，不光机身，整个系统都在不断扩充，因此无论在什么时候，EOS都得到了专业摄影师一如既往的支持。

       EOS的概念—“快速、易用、高画质”。这一点在进入了数码单反相机时代之后也毫无改变。大型单片CMOS图像感应器、数字影像处理器DIGIC4、高精度自动对焦系统、综合除尘对策—EOSI.C.S.(IntegratedCleaningSystem)等，为了实现这一概念，佳能不断开发最新技术，并将其成果应用在EOS相机中。此外不仅是面向专业人士的高端机型，这些最新技术也毫无保留地投入在入门机型中。

       （参考其它同学回答复制的）

       柚子（EOS）由区块链奇才BM（DanielLarimer）领导开发的类似操作系统的区块链架构平台，旨在实现分布式应用的性能扩展。EOS提供帐户，身份验证，数据库，异步通信以及在数以百计的CPU或群集上的程序调度。该技术的最终形式是一个区块链体系架构，该区块链每秒可以支持数百万个交易，同时普通用户无需支付使用费用。发行日期--，发行价格￥7rmb。

       可以说，各大主流数字交易所都可以买卖柚子，杠杆交易等。

       eos这个币就是高收益，高风险。来回波动很大，既然选择了投资，就要有能忍受风险的准备。给你看下eos的走势图。你在自己决定。

Apache Ranger整合Hadoop、Hive、Spark实现权限管理

       在先前的文章《说说PB级生产上重要的Spark 3.x性能优化方向》中，提到了业务人员在处理数据时可能因误操作而造成数据损坏的问题。在许多场景中，数仓需要直接开放给业务分析人员使用，他们经常执行SQL进行场景分析和验证。为此，可以提供一个WebUI供他们使用，如Hue。然而，由于数仓数据庞大，不可能全部开放给业务人员，因此对外供数时必须提供权限控制。

       权限控制方面，CDH上提供的Sentry是一个不错的选择，它基于RBAC进行授权，可以针对库、表等设置不同用户权限。CM的加入使得Sentry的配置变得简单，但Sentry在用户管理方面较为繁琐，且项目已进入Apache Attic，因此选择Sentry并非明智之举。

       实际上，许多公司的生产环境都是外网隔离的，特别是涉及敏感数据的小猴公司。开发、运维人员进入生产环境需要经过严格的校验，接入公司的生产专用网络，并通过堡垒机，任何人都无法导出数据，且每个操作都有审计跟踪。尽管如此，业务人员仍需开放访问，尽管他们通过专门的跳板机访问，但依然存在风险。

       Apache Ranger只要有大数据集群的地方就都需要。本文解决了Ranger不支持Spark SQL的问题，实现了库、表、行、列级别的细粒度权限控制。由于官方文档和百度文档有限，本文将分享相关信息，希望能帮助到大家。

       Apache Ranger是一个用于Hadoop平台上的权限框架，旨在服务于整个大数据生态圈。随着Hadoop在数据湖领域方案的成熟，对数据权限控制的要求也日益提高。Ranger现在提供了更多对大数据生态组件的支持。

       Hadoop中的数据访问多样化，如存储在HDFS的数据可以被Hive、Spark或Presto访问。这么多组件访问数据，若不进行集中权限控制，数据安全性将面临严重问题。因此，大数据平台通常需要一个集中管理权限的组件或框架，Ranger正是这样的组件。

       当前Ranger版本为2.1，官方提供的版本为2.1。编译测试基于Ranger 2.1版本。官方未提供安装包，需要手动下载Ranger源码包进行编译。编译环境要求提前安装，具体可参考官方网站。

       编译成功后，将tar.gz包拷贝到本地。部署Ranger Admin的安装方式与Ranger类似：安装Ranger admin、创建ranger用户并设置密码、上传解压安装包、拷贝MySQL JDBC库、在MySQL中创建ranger库和用户、初始化配置、初始化Ranger admin。若显示成功，则表示初始化成功。在MySQL中可以看到ranger数据库中已创建大量表。

       配置Ranger设置数据库密码、配置环境变量、启动Ranger admin访问web UI。登录后，主界面显示如下。点击右上角的“Swith to latest UI”可以切换到最新的UI展示。若安装过程中出现问题，请检查日志。

       安装Ranger usersync配置admin认证模式。Ranger中admin的认证方式有三种：Unix、Active Directory、Kerberos。此处使用Unix方式进行认证，意味着后续Ranger admin登录会按照Linux中的认证同步。上传解压Ranger usersync组件、修改初始化配置、初始化配置、配置Linux系统用户组同步配置环境变量、启动usersync服务、修改Ranger admin的认证方式、重新启动Ranger admin。在ranger-admin中可以看到所有Linux中的所有用户。

       安装Ranger HDFS插件。注意，HDFS插件需要安装在NameNode对应的节点中，YARN插件需要安装在ResourceManager对应的节点上。解压HDFS插件、初始化配置、启用hdfs插件。Ranger HDFS插件会将当前的配置文件保存备份。可以查看ranger对这些配置文件的更改。

       在PM中添加HDFS服务、配置HDFS服务权限策略、默认策略、策略配置、测试用户访问权限、在ranger中添加组合用户、基于角色授权、测试。我们发现，只要Ranger中的权限已更新，hdfs客户端就可以实现更新。

       按照之前的配置，审计日志信息保存在指定目录。找到一条审计日志，查看其中的内容。审计日志中包含操作时间、路径、资源类型、对应Ranger中的策略等信息。一旦出现安全类问题，通过审计日志可以检查到进行了哪些操作。

       部署Ranger HDFS HA。在HDFS的HA集群上，NameNode可能会发生failover，因此非常有必要在每个HDFS的NameNode上部署一个HDFS插件，以确保在HA切换时能够正常控制权限。部署hdfs plugin到每个NameNode节点、初始化NameNode、测试NameNode节点权限。测试lisi用户在/tmp目录的写入权限，发现当前lisi没有写入权限。在Ranger中启用sales角色的用户具备/tmp目录可写权限。重新执行写入操作，NameNode接入Ranger权限控制成功。

       部署Ranger框架整合Hive、上传解压Hive插件、初始化配置、启动Hive插件。Ranger会对Hive的配置文件进行处理，生成hiveserver2-site.xml、ranger-hive-audit.xml、ranger-hive-security.xml等文件。重新启动Hive、beeline登录到hive、在PM中添加Hive服务、添加Hive Service、查看权限策略、查看默认hive导入的权限、使用hive查看数据、给hadoop组用户授权、检查spark用户操作权限、授权hadoop组、对某个库、表、列设置细粒度权限、测试数据打码处理、测试Ranger Admin crash对Hive的影响、部署Ranger Spark SQL、编译Apache submarine spark-security模块、配置、配置Spark SQL、测试Thrift Server、测试Spark SQL SHELL、到此Ranger整合Spark SQL完成、查看spark sql审计日志、报错信息处理、找不到AllocationFileLoaderService$Listener、异常信息、解决办法、参考文献。