ICMP端口号的深思朋友面试的时候回来问我：小温，说一下ICMP的端口号是多少呢？当时我也懵了，我是这样回答的：ICMP是Internet控制报文协议，没有端口号吧？这个不太清楚啊。呵呵，一个常见的协议问题，很纠结：所以稍作总结：ICMP简介：ICMP是（Internet Control Message Protocol）Internet控制报文协议。它是TCP/IP协议族的一个子协议，用于在IP主机、路由器之间传递控制消息。控制消息是指网络通不通、主机是否可达、路由是否可用等网络本身的消息。这...阅读全文
Elasticsearch上的索引如果有多个分片，那么在聚合排序后取TopN时，返回的结果可能是不准的，今天我们就通过实战来研究分析此问题，并验证解决方法； 环境信息 以下是本次实战的环境信息，请确保您的Elasticsearch可以正常运行： 操作系统：Ubuntu 18.04.2 LTSJDK：1.8.0_191Elasticsearch：6.7.1Kibana：6.7.1 系列文章列表 《Elasticsearch聚合学习之一：基本操作》；《Elasticsearch聚合学习之二：区间聚合...阅读全文
BigDecimal，相信对于很多人来说都不陌生，很多人都知道他的用法，这是一种java.math包中提供的一种可以用来进行精确运算的类型。 很多人都知道，在进行金额表示、金额计算等场景，不能使用double、float等类型，而是要使用对精度支持的更好的BigDecimal。 所以，很多支付、电商、金融等业务中，BigDecimal的使用非常频繁。而且不得不说这是一个非常好用的类，其内部自带了很多方法，如加，减，乘，除等运算方法都是可以直接调用的。 除了需要用BigDecimal表示数字和进行...阅读全文
【使用场景】 对RDD使用join类操作，或者是在Spark SQL中使用join语句时，而且join操作中的一个RDD或表的数据量比较小（例如几百MB或者1~2GB），比较适用此方案。 【解决方案】 小表join大表转为小表broadcast+map大表实现。具体为： 普通的join是会shuffle的，而一旦shuffle，就相当于会将相同key的数据拉取到一个shuffle read task中再进行join，此时就是reduce join，此时如果发生数据倾斜，影响处理性...阅读全文
相关示例代码见：http://download.csdn.net/detail/hjx_1000/8374829 五、 Thrift服务器端几种工作模式分析与总结 Thrift为服务器端提供了多种工作模式，本文中将涉及以下5中工作模式：TSimpleServer、TNonblockingServer、THsHaServer、TThreadPoolServer、TThreadedSelectorServer，这5中工作模式的详细工作原理如下： 1. TSimpleServer模式 TS...阅读全文
多个服务，使用监听一个端口。先上一个demo Test.thrift namespace java com.gxf.thrift enum RequestType { SAY_HELLO, //问好 QUERY_TIME, //询问时间 } struct Request { 1: required RequestType type; // 请求的类型，必选 2: required string name; // 发起请求的人的名字，必选 3: optional i32 age; // 发起请求的...阅读全文
对于多分支的代码库，将代码从一个分支转移到另一个分支是常见需求。 这时分两种情况。一种情况是，你需要另一个分支的所有代码变动，那么就采用合并（git merge）。另一种情况是，你只需要部分代码变动（某几个提交），这时可以采用 Cherry pick。 一、基本用法 git cherry-pick命令的作用，就是将指定的提交（commit）应用于其他分支。 $ git cherry-pick <commitHash> 上面命令就会将指定的提交commitHash，应用于当前分支。这会在当前分支产...阅读全文
关系型数据库最难的地方，就是建模（model）。 错综复杂的数据，需要建立模型，才能储存在数据库。所谓"模型"就是两样东西：实体（entity）+ 关系（relationship）。 实体指的是那些实际的对象，带有自己的属性，可以理解成一组相关属性的容器。关系就是实体之间的联系，通常可以分成"一对一"、"一对多"和"多对多"等类型。 在关系型数据库里面，每个实体有自己的一张表（table），所有属性都是这张表的字段（field），表与表之间根据关联字段"连接"（join）在一起。所以，表的连接是...阅读全文
Java里，每个线程都有自己的ThreadLocalMap，里边存着自己私有的对象。Map的Entry里，key为ThreadLocal对象，value即为私有对象T。在spring MVC中，常用ThreadLocal保存当前登陆用户信息，这样线程在任意地方都可以取到用户信息了。 public class UserContext { private static final ThreadLocal<UserInfo> userInfoLocal = new ThreadLocal<UserIn...阅读全文
本篇文章尝试从What、Why、How这三个角度来探索Java中的弱引用，理解Java中弱引用的定义、基本使用场景和使用方法。由于个人水平有限，叙述中难免存在不准确或是不清晰的地方，希望大家可以指出，谢谢大家：） 1. What——什么是弱引用？ Java中的弱引用具体指的是java.lang.ref.WeakReference<T>类，我们首先来看一下官方文档对它做的说明： 弱引用对象的存在不会阻止它所指向的对象变被垃圾回收器回收。弱引用最常见的用途是实现规范映射(canonicali...阅读全文
本节介绍一种应文件系统所需而生的一种 B-树的变型树——B+树。前面介绍了B-树，B+树其实同B-树有许多相同之处，本节将用B-树同B+树通过对比两者的差异来介绍B+树。 什么是B+树？ 一颗 m 阶的 B+树和 m 阶的 B-树的差异在于： 有 n 棵子树的结点中含有 n 个关键字； 在上一节中，在 B-树中的每个结点关键字个数 n 的取值范围为⌈m/2⌉ -1≤n≤m-1，而在 B+树中每个结点中关键字个数 n 的取值范围为：⌈m/2⌉≤n≤m。 所有的叶子结点中包含了全部关键字的信息，及...阅读全文
B+树 B+ Tree定义B+树是一种多路平衡查找树,是对B树(B-Tree)的扩展.首先,一个M阶的B树的定义为: 每个节点最多有M个子节点； 每一个非叶子节点（除根节点）至少有ceil(M/2)个子节点； 如果根节点不是叶子节点，那么至少有两个子节点； 有k个子节点的非叶子节点拥有k-1个键，键按照升序排列； 所有叶子节点在同一层； 从定义可以看出来,一个M阶的B树,其叶子节点必须在同一层,每一个节点的子节点数目和键数目都是有规定的.其实不看定义,简单来说,B树是平衡的,而且非叶子节点的子节...阅读全文
前言 B+树，是数据库索引的一个数据类型。B+树，是从最早的平衡二叉树演化而来。先了解一下二叉查找树、平衡二叉树、和B树。 二叉查找树 左子树的键值小于根的键值，右子树的键值大于根的键值。 二叉查找树可以任意地构造,以下这种也是二叉查找树，但是其查询效率太低 平衡二叉树 平衡二叉树（AVL树）在符合二叉查找树的条件下，还满足任何节点的两个子树的高度最大差为1。 当失去平衡时，有四种姿态： “左左”。插入或删除一个节点后，根节点的左孩子（Left Child）的左孩子（Left Child）还有非...阅读全文
IOPS (Input/Output Per Second)即每秒的输入输出量(或读写次数)，是衡量磁盘性能的主要指标之一。IOPS是指单位时间内系统能处理的I/O请求数量，一般以每秒处理的I/O请求数量为单位，I/O请求通常为读或写数据操作请求。随机读写频繁的应用，如OLTP(Online Transaction Processing)，IOPS是关键衡量指标。另一个重要指标是数据吞吐量(Throughput)，指单位时间内可以成功传输的数据数量。对于大量顺序读写的应用，如VOD(Video ...阅读全文
上篇文章已经介绍过Java的类加载机制，在类加载的过程中我们最常遇到的异常就是：ClassNotFoundException NoClassDefFoundError但是你知道他们的区别吗？以及什么情况下发生上面的异常？ 如果你还不清楚，那么不着急，我们来仔细分析一下：先来说说第一个异常提示名字已经非常友好了，就是告诉我们使用类加载器就加载某个类的时候，发现所有的path下面都没有找到，从引导类路径，扩展类路径到当前的classpath下全部没有找到，就会抛出上面的异常，最常见的例子就是加载JD...阅读全文
Mybatis的缓存级别 Mybatis提供了查询缓存来查询数据，使在项目开发中提高性能。 Mybatis的缓存分为一级缓存和二级缓存，一级缓存是SqlSession级别的缓存，二级缓存是mapper级别的缓存，二级缓存是多个SqlSession共享的。Mybatis通过缓存机制减轻数据压力，提高数据库的性能。 一.一级缓存没有过期时间，只有生命周期 （1）.Mybatis在开启一个数据库会话时，会创建一个新的SqlSession对象。SqlSession对象的缓存是Mybatis的一级缓存，在...阅读全文
1、平衡二叉树概念平衡二叉树是基于二分法的策略提高数据的查找速度的二叉树的数据结构；特点：平衡二叉树是采用二分法思维把数据按规则组装成一个树形结构的数据，用这个树形结构的数据减少无关数据的检索，大大的提升了数据检索的速度；平衡二叉树的数据结构组装过程有以下规则：（1）非叶子节点只能允许最多两个子节点存在。（2）每一个非叶子节点数据分布规则为左边的子节点小当前节点的值，右边的子节点大于当前节点的值(这里值是基于自己的算法规则而定的，比如hash值)；平衡树的层级结构：因为平衡二叉树查询性能和树的层...阅读全文
在用TreeMap之前我们要对TreeMap有个整体的认识。 1、TreeMap介绍 TreeMap是一个通过红黑树实现有序的key-value集合。 TreeMap继承AbstractMap，也即实现了Map，它是一个Map集合 TreeMap实现了NavigableMap接口，它支持一系列的导航方法， TreeMap实现了Cloneable接口，它可以被克隆 TreeMap introduction：A Red-Black tree based NavigableMap implementa...阅读全文
mysql的B+树索引 查找使用了二分查找，redis 跳表也使用了二分查找法，kafka查询消息日志也使用了二分查找法，二分查找法时间复杂度O(logn); 参考：redis的索引底层的 跳表原理 实现 聊聊Mysql索引和redis跳表 ---redis的跳表原理 时间复杂度O(logn)(阿里) 参考：kafka如何实现高并发存储-如何找到一条需要消费的数据(阿里) 参考：二分查找法：各种排序算法的时间复杂度和空间复杂度(阿里) 在MySQL中，主要有四种类型的索引，分别为：B-Tree索...阅读全文
