本文将介绍HBase的客户端连接实现，并说明如何正确管理HBase的连接。最近在搭建一个HBase的可视化管理平台，搭建完成后发现不管什么查询都很慢，甚至于使用api去listTable都要好几秒。经过一番排查发现，是每次请求的时候，都去临时创建了一个connection，而创建connection非常耗时导致整体的rt上升。因此，就深入了解了下如何正确管理HBase的connection，同时，也在优化过程中有些小细节的总结。本文基于hbase 2.0.0版本的源码，github上3.0版本的...阅读全文
HBase基于LSM模式，写是写HLOG及Memory的，也就是基本没有随机的IO，所以在写链路上性能高效还比较平稳。很多时候，写都是用可靠性来换取性能。 批量写 也是为了减少rpc的次数HTable.put(List<Put>) Auto Flush autoflush=false可以提升几倍的写性能，但是还是要注意，直到数据超过2 M（由hbase.client.write.buffer决定）或用户执行了hbase.flushcommits()时才向regionserver提交请求。需要注意...阅读全文
本文分享自天翼云开发者社区《NUMA架构介绍及优缺点分析》，作者:郁****航什么是NUMA架构1、概念NUMA（Non-Uniform Memory Access，非统一内存访问）架构是一种针对多处理器系统的内存组织方式。在这种架构中，处理器被分配到不同的节点，每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存，但访问本地内存的速度要快于访问其他节点的内存。 2、设计原理NUMA架构的设计原理主要是为了解决多处理器系统中的内存访问瓶颈问题。随着处理器数量的增加，内存带宽需求也会...阅读全文
本文分享自天翼云开发者社区《QUIC协议在天翼云CDN全站加速产品中的应用》，作者：郭****迎1、什么是QUIC协议QUIC全称：Quick UDP Internet Connections，是一种实验性传输层网络协议，提供与TLS/SSL相当的安全性，同时具有更低的连接和传输延迟。QUIC目前的主要应用于http协议，基于QUIC的HTTP/3协议（RFC9114），除了拥有HTTP/2的各项优点，同时由于QUIC的特性，在弱网环境下拥有更强大的性能优势。QUIC由Google自研，2012...阅读全文
本文分享自天翼云开发者社区《IPv6 无状态地址如何自动配置？》，作者：SD万IPv6无状态地址自动配置（SLAAC）是IPv6网络中的一种自动地址配置方法。它是一种简单、高效、节省带宽和资源的方法，允许设备在网络上自动获取IPv6地址。本文将介绍IPv6无状态地址自动配置的原理、过程、优点以及如何进行配置。一、IPv6无状态地址自动配置原理IPv6无状态地址自动配置依靠设备本身的MAC地址以及网络中的路由器RA（Router Advertisement）来完成地址的自动分配。它不需要专门的DH...阅读全文
hapjin 赞同来自: liuliuliu org.apache.lucene.search.ScoreDoc.doc 应该是：Apache Lucene - Index File Formats 提到的：Document Numbers 文档 index 到Lucene中时，会生成 segment。document nubmer从0开始，每索引一篇文档到segment里面，document nubmer加1.segment内document number是唯一的。 Internally, L...阅读全文
简单说，OS提供了一个通用的选择，没办法针对应用做个性化定制。kafka基本是顺序读写，这点是OS缓存可以很好的处理的情况；但是对于更多应用层系统来说，存在数据热点分布不均的情况，这些OS就不能很好的处理了。例如MySQL的innoDB缓存，如果采用OS的缓存策略，来一次全表扫描那么就可以让InnoDB辛辛苦苦热起来的数据冷了。但是InnoDB自己维护缓存情况下，就可以处理得很好，例如MySQL的InnoDB会对缓冲数据拆分为young以及old数据；会在整个缓存空间中腾出3/8的数据来用缓存这...阅读全文
IO原理 最近在研究 JAVA NIO 的相关知识，学习NIO，就不能提到IO的原理和事项，必经NIO是基于IO进化而来 IO涉及到的底层的概念大致如下： 缓冲区操作。2) 内核空间与用户空间。3) 虚拟内存。4) 分页技术 一，虚拟存储器 虚拟存储器是硬件异常(缺页异常)、硬件地址翻译、主存、磁盘文件和内核软件的完美交互，它为每个进程提供了一个大的、一致的和私有的地址空间。 虚拟存储器的三大能力： ①将主存看成是一个存储在磁盘上的地址空间的高速缓存。 ②为每个进程提供了一个一致的地址空间。 ③...阅读全文
功能描述：mmap将一个文件或者其它对象映射进内存。文件被映射到多个页上，如果文件的大小不是所有页的大小之和，最后一个页不被使用的空间将会清零。munmap执行相反的操作，删除特定地址区域的对象映射。基 于文件的映射，在mmap和munmap执行过程的任何时刻，被映射文件的st_atime可能被更新。如果st_atime字段在前述的情况下没有得到 更新，首次对映射区的第一个页索引时会更新该字段的值。用PROT_WRITE 和 MAP_SHARED标志建立起来的文件映射，其st_ctime和 st...阅读全文
当时其实我是被他的这个图片给吸引到了（里面的 12 qps 应该是 12k qps）： 他介绍了两个核心系统在经过一个“数据压缩”的操作之后，分别节约了 204C 和 2160C 的服务器资源。共计就是 2364C 的服务器资源。如果按照一般标配的 4C8G 服务器，好家伙，这就是节约了 591 台机器啊，你想想一年就节约了多大一笔开销。 视频中介绍了几种数据压缩的方案，其中方案之一就是用了高性能集合： 因为他们的系统设计中大量用到“本地缓存”，而本地缓存大多就是使用 HashMa...阅读全文
Sign up or log in Sign up using Google Sign up using Facebook Sign up using Email and Password Submit Post as a guest Name Email Required, but never shown阅读全文
如何查看进程发生缺页中断的次数？用ps -o majflt,minflt -C program命令查看。majflt代表major fault，中文名-叫大错误，minflt代表minor fault，中文名叫小错误。这两个数值表示一个进程自启动以来所发生的缺页中断的次数。发成缺页中断后，执行了那些操作？当一个进程发生缺页中断的时候，进程会陷入内核态，执行以下操作： 1、检查要访问的虚拟地址是否合法 2、查找/分配一个物理页 3、填充物理页内容（读取磁盘，或者直接置0，或者啥也不干） 4、建立映...阅读全文
linux有诸多优秀的工具帮助我们分析服务器各项性能指标和协助开发调试工作。下面只列举比较基础的命令，且一般是集成在linux环境中而不需再次安装的命令。更多更详细的命令可以参考 https://github.com/brendangregg/perf-tools A 、CPU进程相关 常用工具列举下：uptime、ps、top、mpstat、pidstat等 uptime: 查看系统运行时间，平均负载等。 ps：可查看某个进程占用CPU资源百分比；查看线程信息 ps -eLf top...阅读全文
小知识，大挑战！本文正在参与“程序员必备小知识”创作活动。 文章目录 介绍 RandomAccessFile 使用 创建对象 写方法 读取方法 介绍 java.io.RandomAccessFile 1、读写文件的工具 2、将文件中的字节数据，当作数组，用下标访问指定位置的字节值 RandomAccessFile 既可以读取文件内容，也可以向文件输出数据。同时，RandomAccessFile 支持“随机访问”的方式，程序快可以直接跳转到文件的任意地方来读写数据。 由于 RandomAccess...阅读全文
mmap 基础概念mmap 是一种内存映射文件的方法，即将一个文件映射到进程的地址空间，实现文件磁盘地址和一段进程虚拟地址的映射。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read,write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。操作系统提供了这么一系列 mmap 的配套函数void *mmap(void *start, size_t ...阅读全文
RandomAccessFile类使用详解 疯狂java讲义读书笔记之RandomAccessFile类的使用详解 1.RandomAccessFile特点 RandomAccessFile是java Io体系中功能最丰富的文件内容访问类。即可以读取文件内容，也可以向文件中写入内容。但是和其他输入/输入流不同的是，程序可以直接跳到文件的任意位置来读写数据。 因为RandomAccessFile可以自由访问文件的任意位置，所以如果我们希望只访问文件的部分内容，那就可以使用RandomAcc...阅读全文
作者：Grey 原文地址：Java IO学习笔记三：MMAP与RandomAccessFile 关于RandomAccessFile 相较于前面提到的BufferedReader/Writer和FileReader/Writer 普通的Reader和Writer只能顺序读写数据，RandomAccessFile提供了一个独有的seek方法，可以修改文件内容的指针，从而可以方便读取和修改文件中的任意位置。示例： import java.io.RandomAccessFile; import jav...阅读全文
malloc中的系统调用brk和mmap 环境 ubuntu14.04 malloc通过系统调用的方式从操作系统申请内存，malloc内部又通过系统调用brk()或mmap来申请内存的。入下图进程虚拟内存布局所示，mmap对应Memory Mapping Segment,brk对应Heap. brk brk通过增加program break的位置（brk）从内核申请（非零值初始化）内存。一开始堆段（heap segment）的其实位置（start_brk）和结束位置（brk）指向同一个位置。 当...阅读全文
