1.Scan的复杂之处
2.HBase最佳实践 – Scan用法大观园
3.hbase scan的startRow和endRow
4.HBase scan命令详解
5.HBase scan setBatch和setCaching的区别

Scan的复杂之处

       HBase原理与实践

       扫描API设计核心 - Scan

       在HBase中，Scan是一个用于扫描表中数据的重要API。然而，它并非直接将满足条件的所有数据一次性返回，而是通过客户端与服务器之间进行多次交互完成数据获取。这种设计在确保数据完整性与效率之间做出平衡。游戏源码项目学习

       Scan工作流程概览

       图示展示了Scan的客户端代码流程。在for循环中，每轮迭代调用ResultScanner对象的next方法获取一行记录。实际操作中，客户端频繁向服务器发送next请求。

       Scan设计的多轮next请求模式

       这种设计旨在避免在数据量庞大时出现异常情况。然而，从效率角度来看，分时流向指标源码可能并不理想。接下来，我们探讨Scan设计中的优缺点。

       优点与缺点并存

       Scan通过多次next请求确保数据完整性和处理异常情况，避免一次性请求带来的潜在风险。但频繁的网络交互可能导致性能开销，影响扫描效率，特别是当数据量巨大时。

HBase最佳实践 – Scan用法大观园

       HBase 从用法的角度来讲其实乏陈可善，所有更新插入删除基本一两个 API 就可以搞定。要说稍微有点复杂的话，Scan 的用法可能会多一些说头。扫描用法包括 ScanAPI、知道脚本源码TableScanMR 以及 SnapshotScanMR。这三种用法各有特点，适用于不同的应用场景。以下将分别对这三种用法进行解析，并对比它们的原理、效率和最佳实践，以帮助读者更好地理解 Scan 的使用。

       Scan API 是最常见的用法，基于官方 API 文档。Scan 的工作原理涉及到客户端代码中的 ResultScanner 对象，实际操作中，客户端不断调用 next 请求获取数据，这个过程可以分为几个步骤。自我游系统源码这种设计模式在大数据量场景下可能会遇到一些挑战，主要体现在效率和异常处理方面。

       ScanAPI 的应用场景通常局限于 OLTP（在线事务处理）场景，对于需要从 HBase 扫描大量数据进行 OLAP（在线分析处理）分析的业务，可以考虑使用 TableScanMR 和 SnapshotScanMR。TableScanMR 是 ScanAPI 的并行化版本，通过将扫描请求分解为多个子扫描，提高了扫描效率。SnapshotScanMR 与 TableScanMR 类似，但采用了客户端直接访问 HDFS 的方式，进一步优化了扫描性能。

       为了确保扫描操作的高效执行，TableScanMR 和 SnapshotScanMR 都提供了一些最佳实践建议，傻瓜指标的源码如设置缓存大小、避免不必要的并行操作等。这些实践有助于优化扫描性能，尤其是在处理大数据量时。

       在实际应用中，TableScanMR 和 SnapshotScanMR 都存在一些问题，比如对大 region 的扫描粒度仍然较大，以及在某些情况下生成的 Mapper 较少。为了解决这些问题，需要提供更精细的扫描粒度策略。性能对比显示，SnapshotScanMR 在某些场景下表现出更好的性能，但其当前版本可能仍存在一些不完善之处，需要进一步优化。

       总之，Scan 的使用需要根据实际业务需求选择合适的扫描方法，并结合最佳实践来优化性能。通过理解不同扫描方法的原理和特点，开发者可以更有效地利用 HBase 进行数据查询和分析。

hbase scan的startRow和endRow

       ä¸¾ä¸€ä¸ªåœºæ™¯ï¼Œå®‰å…¨é¢†åŸŸçš„溯源分析，查询维度包括ip，时间戳，端口，协议，可能根据前两的维度的一个或者几个进行原始日志查询，我们可以把原始日志存储到hbase中，而前面提到的几个维度可以分别作为key的一部分。

        首先我们应该考虑的是rowkey的设置，第一：散列或者反转，保证数据会随机分布到不同的region当中。第二：预分区，先对数据做一个基本的统计，比如我们预分十个区，我们可以统计一下每个区的startrow和endrow，这样保证每个区的数据相当，另外这样的好处是当我们根据rowkey查询的时候，可以保证直接定位到某个分区。我们线上的数据就是采用的第二种方式。

        然后我们应该考虑rowkey的组成。分两种情况，第一种情况：维度不是特别多，我们完全可以把各个维度分别作为rowkey的一部分，比如上文提到的需求，就是采用的这种方式，因为一共四个维度，相对来说比较少。第二种情况：维度过多，如果都作为rowkey的一部分的话长度太大，此时建议考虑二级索引，举个例子：比如对于上面提到的四个维度，如果现在进行扩展，ip，端口，协议需要定位到源和目的，这样的话，整个维度提升到了七个，此时就建议采用二级索引。

        目前我们已经确定了hbase存储，并且采用预分区的方式并且采用rowkey进行过滤查询，那么现在考虑rowkey的设计。从技术角度考虑，预分区的方式时间戳不能作为第一部分，这样一定会出现数据倾斜的现象；从业务角度考虑，我们定位日志的时候，首先需要定位ip，然后是端口，最后才是协议，也就是说我们的用户去定位日志的时候，如果定位到端口，那必须先定位ip，如果定位协议的话，必须先定位ip和端口。

        综上所述，我们的rowkey设计为ip+timestamp+port+prot

        设计搞定之后，我们再考虑查询的问题。我们知道对于hbase的查询，最快的方式就是get，这样的话，可以迅速定位到一条数据。而get查询其实就是scan的特殊情况，只是startRow和endRow一样。所以此时我们可以采用scan+startRow+endRow的方式进行操作。

        e.g

        这样的话就可以吧该范围的数据查出来，当然我们可以再在内存中进行过滤

        当着startRow和endRow需要注意一些情况。

        请参考：blogs.com/llphhl/p/.html

HBase scan命令详解

       hbase中scan命令是日常使用频率较高的操作之一，其中filter功能尤为强大。以下是对scan命令下filter使用方法的简要介绍。

       为了演示，我们模拟了部分微博评论数据，并将这些数据通过代码插入到hbase中。具体的代码实现细节这里不做展开，因为相对简单。

       在hbase中，表名为zy_comment，列簇info下包含articleType和commentInfo两个列。commentInfo的value是上述Comment类的JSON字符串，插入的数据如下所示。

       HBase数据存储顺序遵循三维有序原则，即rowkey（行键）、column key（列族和列限定符）和时间戳（Timestamp）。这三个维度按照ASCII码表排序（例如，A排在a前面）。

       scan命令中，Filter功能经常被大量使用。在hbase shell中提供的filter都可以在hbase client包中找到对应的类，它们都是Filter的子类。许多命令都是通过filter来实现的。

       使用show_filters命令可以查看shell中定义了哪些filter常量。如果想要使用shell中未定义的常量，在使用时必须手动导入filter的全路径。

       使用help 'scan'命令可以查看scan的语法和用法。关于scan命令中filter的使用规则如下：{ }中的语法是ruby的map语法，FILTER必须大写，filter的参数是根据构造方法来的，相当于java中的new Filter('param1','param2')等，这里只是省略了new参数而已。当然，也可以使用ruby中new对象的方式，只是那样就必须使用全限定名称。下面会举一个全限定名称的例子。

       在使用Filter的过程中，部分filter会用到比较器(CompareOperator.java)和运算比较符(ByteArrayComparable.java)。比较器主要有以下几种：

       查询方式通过rowKey进行查询是最快的，因此rowkey的设计一定要合理，否则会影响查询速度。但有时确实无法完全通过rowkey进行查询，这时就需要借助scan命令。scan命令支持的修饰词除了列（COLUMNS）修饰词外，HBase还支持Limit（限制查询结果行数）、STARTROW（ROWKEY起始行）、STOPROW（结束行）、TIMERANGE（限定时间戳范围）、VERSIONS（版本数）和FILTER（按条件过滤行）等。

       需要注意的是，binary中的数据必须是二进制字符串，而不是具体的值。

       参考文章：

        acadgild.com/blog/diffe...

        blog.csdn.net/u...

HBase scan setBatch和setCaching的区别

       HBase的查询实现只提供两种方式：

       1、按指定RowKey获取唯一一条记录，get方法（org.apache.hadoop.hbase.client.Get）

       2、按指定的条件获取一批记录，scan方法（org.apache.hadoop.hbase.client.Scan）

       å®žçŽ°æ¡ä»¶æŸ¥è¯¢åŠŸèƒ½ä½¿ç”¨çš„就是scan方式，scan在使用时有以下几点值得注意：

       1、scan可以通过setCaching与setBatch方法提高速度（以空间换时间）；

       2、scan可以通过setStartRow与setEndRow来限定范围（[start，end）start是闭区间，end是开区间）。范围越小，性能越高。

       é€šè¿‡å·§å¦™çš„RowKey设计使我们批量获取记录集合中的元素挨在一起（应该在同一个Region下），可以在遍历结果时获得很好的性能。

       3、scan可以通过setFilter方法添加过滤器，这也是分页、多条件查询的基础。

       scan中的setCaching与setBatch方法的区别是什么呢？

       setCaching设置的值为每次rpc的请求记录数，默认是1；cache大可以优化性能，但是太大了会花费很长的时间进行一次传输。

       setBatch设置每次取的column size；有些row特别大，所以需要分开传给client，就是一次传一个row的几个column。

       batch和caching和hbase table column size共同决意了rpc的次数。