1、Hbase为什么写比读快 （1）根本原因是hbase的存储引擎用的是LSM树，是一种面向磁盘的数据结构： Hbase底层的存储引擎为LSM-Tree(Log-Structured Merge-Tree)。LSM核心思想的核心就是放弃部分读能力，换取写入的最大化能力。LSM Tree它的核心思路其实非常简单，就是假定内存足够大，因此不需要每次有数据更新就必须将数据写入到磁盘中，而可以先将最新的数据驻留在内存中，等到积累到最后多之后，再使用归并排序的方式将内存内的数据合并追加到磁盘队尾(因为所有待排序的树都是有序的，可以通过合并排序的方式快速合并到一起)。另外，写入时候将随机写入转换成顺序写，数据写入速度也很稳定。 不过读取的时候稍微麻烦，需要合并磁盘中历史数据和内存中最近修改操作，所以写入...阅读全文
一、概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二、HBase 写链路简要分析HBase 的写入链路基于 LSM（Log-Structured Merge-Tree), 基本思想是把用户的随机写入转化为两部分写入：Memstore 内存中的 Map, 保存随机的随机写入，待 memstore 达到一定量的...阅读全文
今天小编给带来一篇linux解压方面的资料 Linux解压gz文件的命令有：gunzip命令、gzip命令、tar命令。下面本篇文章就来带大家了解一下 gz文件是一种压缩文件，以.gz或者.tar.gz(.tgz)为扩展名，在Linux、UNIX和OSX下常见，Linux和OSX都可以直接解压使用这种压缩文件。在Windows下常用压缩软件WinRAR打开gz文件，它相当于常见的RAR和ZIP格式。 .gz文件解压 如果是以.gz扩展名结尾的gz文件，可以使用gunzip命令、gzip命令来解压。 gunzip命令 作用是解压文件，使用权限是所有用户。例： gunzip FileName.gz gzip命令 gzip命令是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令，既方便又...阅读全文
HBase启用压缩 HBase 创建表时默认压缩为 NONE ，即没有压缩，除非指定。 目前 HBase 主要支持 4 种压缩方式：GZ（GZIP），SNAPPY，LZO，LZ4。 1. 压缩算法的比较 算法压缩比压缩解压GZIP13.4%21MB/s118MB/sLZO20.5%135MB/s410MB/sSnappy/Zippy22.2%172MB/s409MB/s 总结： GZIP的压缩率最高，但它是CPU密集型的，对CPU的消耗较多，压缩和解压速度也慢；LZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多；Zippy/Snappy的压缩率最低，而压缩和解压速度要稍微比LZO要快一些 所以，一般情况下，推荐使用Snappy和Zippy压...阅读全文
>Maven是Apache软件基金会的一个开源项目，是一款优秀的项目构建工具，它主要用于帮助开发者管理项目中jar以及jar之间的依赖关系，最终完成项目编译，测试，打包和发布等工作。 前面我们已经简单介绍了Maven的概念、特点及使用，本篇文章就来给大家出一个详细的安装和配置教程，还没有安装Maven的小伙伴要赶紧收藏起来哦！ 首先给大家解释一下为什么学习Java非要学Maven不可。 ## 一、为什么要学习Maven？ 大家在读这篇文章之前大部分人都已经或多或少的经历过项目，说到项目，在原生代码无框架的时候，最痛苦的一件事情就是要在项目中导入各种各样使用的jar包，jar太多就会导致项目很难管理。 需要考虑到jar包之间的版本适配的问题还有去哪找项目中使用的这么多的jar包，等等。这个时候...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
