公号：码农充电站pro 主页：https://codeshellme.github.io ES 中的聚合分析（Aggregations）是对数据的统计分析功能，它的优点是实时性较高，相比于 Hadoop 速度更快。 1，聚合的分类 ES 中的聚合分析主要有以下 3 大类，每一类都提供了多种统计方法： Metrics：对文档字段进行统计分析（数学运算），多数 Metrics 的输出是单个值，部分 Metrics 的输出是多个值。 Sum：求和 Max：求最大值 Min：求最小值 Avg：求平均值 ...阅读全文
如何学习好java有没有大佬来交流下阅读全文
Apache Hudi http://hudi.apache.org/ http://hudi.apache.org/docs/quick-start-guide.html Hudi是什么 Hudi将流处理带到大数据，提供新数据，同时比传统批处理效率高一个数量级。 Hudi可以帮助你构建高效的数据湖，解决一些最复杂的底层存储管理问题，同时将数据更快地交给数据分析师，工程师和科学家。 Hudi不是什么 Hudi不是针对任何OLTP案例而设计的，在这些情况下，通常你使用的是现有的NoSQL / RD...阅读全文
时序数据库技术体系中一个非常重要的技术点是时序数据模型设计，不同的时序系统有不同的设计模式，不同的设计模式对时序数据的读写性能、数据压缩效率等各个方面都有不同程度的影响。这篇文章笔者将会分别针对OpenTSDB、Druid、InfluxDB以及Beringei这四个时序系统中的时序数据模型设计进行介绍。 在详细介绍时序数据模型之前，还是有必要简单回顾一下时序数据的几个基本概念，如下图所示： 上图是一个典型的时序数据示意图，由图中可以看出，时序数据由两个维度坐标来表示，横坐标表示时间轴，随着时间的...阅读全文
如果懒得看分析直接看结论：列存储的数据库更适合OLAP行存储的数据库更适合OLTP所谓的快只是针对于进行olap操作而言我们知道，数据在存储中的基本单位为页，这也是进行数据读取时候基本单位，一次读取就是一次IO操作以sql server为例，一个数据页大小为8K，数据页中存储的是数据，数据是连续存储的那么我假设如下的4*4表格为一个数据页再假设，有这样一个表格 字段1 字段2字段1的值为 col1value1,col1value2.....字段2的值为col2value1,col2value2....阅读全文
一、前言哈希存储引擎 是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明显比树的操作O(n)快,如果不需要有序的遍历数据，哈希表就是your Mr.RightB树存储引擎是B树的持久化实现，不仅支持单条记录的增、删、读、改操作，还支持顺序扫描（B+树的叶子节点之间的指针），对应的存储系统就是关系数据库（Mysql等）。LSM树（Log-Structured Mer...阅读全文
收藏成功！ 已添加到「」， 点击更改阅读全文
Get请求传参，与编码解码 @1 Get请求流程： 在get请求中，参数直接添加在了url后面，同url一起提交到服务器。 常用的url参数的格式为： http://ip:port/path/file?参数1=值1&参数2=值2…. 多个参数之间使用&分割，参数与值之间使用=分割 例如： http://localhost:8080/http/test?p1=zhangsan&p2=18 服务器端Servlet通过 req.getParameter(“参数名”)就可以获取相应参数的值。 @2 问题...阅读全文
【每日论语02】学而篇第二则论语系列的文章，弘丹参考的是傅佩荣老师的《细说论语》，绿窗幽梦参考的是朱熹的《四书章句集注》，由弘丹整理。 小编会...弘丹阅读 1,175评论 2赞 13阅读全文
Sign up or log in Sign up using Google Sign up using Facebook Sign up using Email and Password Submit Post as a guest Name Email Required, but never shown阅读全文
日常操作中为了避免一些误操作，更加安全的管理系统，通常使用的用户身份都为普通用户，而非root。当需要执行一些管理员命令操作时，再切换成root用户身份去执行。普通用户切换到root用户的方式有：su和sudo。1，su -（su为switch user，即切换用户的简写）格式：su -l USERNAME（-l为login，即登陆的简写）-l可以将l省略掉，所以此命令常写为su - USERNAME如果不指定USERNAME（用户名），默认即为root，所以切换到root的身份的命令即为：su...阅读全文
最近学到了shell脚本编程，觉得脚本中的不同括号有不同的用处，以及有些括号的格式也有特殊要求，下面我就总结一下各种括号的用法。一、小括号()；双小括号(()) 1、单小括号 () 1：命令替换。等同于`comm`，shell扫描一遍命令行，发现了$(comm)结构，便将$(comm)中的comm执行一次，得到其标准输出，再将此输出放到原来命令。# ls a b c # echo $(ls) a b c #echo `ls` a b c 2：用于初始化数组。如：array=(a b ...阅读全文
Elasticsearch 最少必要知识实战教程直播回放 #1、reindex的速率极慢，是否有办法改善？ 以下问题来自社区：https://elasticsearch.cn/question/3782 问题1：reindex和snapshot的速率极慢，是否有办法改善？ reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级（集群写入性能不存在瓶颈），reindex/snapshot的时候CPU还是IO使用率都很低，是不是集群受什么参数限制了re...阅读全文
GNU sed 4.5 版参考文档全文翻译 各命令和随带20个示例详细解析（一） HZ_Samuel博客 05-03 385 文档记录了一个版本4.5的流编辑器——GNU sed。 版权所有© 1998—2018自由软件基金会。 根据GNU免费文档许可证、自由软件基金会发布1.3及其后续版本，本文档被允许复制、分发和、或修改；没有不变的部分，没有封面文本，也没有封底文本。许可证副本包含在标题为“GNU免费文档许可证”的部分中。 sed (GNU) C/C++,Win/Linux使用与开发技巧 1...阅读全文
jvm加载过程 加载＝》验证＝》准备＝》解析＝》初始化＝》使用＝》卸载 一 clinit初始化/静态方法 类型初始化方法主要是对static变量进行初始化操作，对static域和static代码块初始化的逻辑全部封装在<clinit>方法中。 java.lang.Class.forName(String name, boolean initialize,ClassLoader loader)，其中第二个参数就是是否需要初始化。 Java类型初始化过程中对static变量的初始化操作依赖于...阅读全文
假设我们作业中有这样一段逻辑stream.map(xxx).filter(_ != null).xxx，并且map算子有可能返回NULL，你觉得作业运行会抛NPE吗？明明下游有filter not null，不应该出错才对？但实际情况是运行中有可能抛出异常。1.异常信息可能抛出的异常信息大致如下： // 1. 如果map算子返回值类型为Java Tuple Caused by: java.lang.NullPointerException at org.apache.flink.api.java...阅读全文
为什么想要写这个，是因为在上周，表格存储的一个客户，告知我们在将数据通过DataX从OTS导出到ODPS后，发现数据『丢失』了。而在调查过后，发现数据并不是所谓的『丢失』了，而是数据被『改变』了。 什么原因导致数据发生了『改变』呢？却是因为一个大部分Java程序员都会忽略的问题导致的，所以我觉得有必要单独拿出来讲讲。 首先看下如下代码: byte[] original1 = new byte[]{(byte)0xef, (byte)0x8f, (byte)0x8f}; byte[] tr...阅读全文
公告:文章会第一时间发在微信公众号《魔笛手CTO》，欢迎关注 String s = "HelloWorld"; byte[] b = s.getBytes(); System.out.println(new String(b)); 看到上面的代码，可能有同学会问了，这不就是JAVA的基本操作吗，你老张有什么好讲的？ 既然这样，老张要考考大家，猜一下下面的代码执行之后会输出怎样的结果。 public class Hello { public static void main(String[]...阅读全文
在使用Hive处理数据时，经常遇到行列转换的场景，本文将对Hive的行列转换操作做详细的说明。 行转列## 1）多行转多列 假设数据表 row2col： col1 col2 col3 a c 1 a d 2 a e 3 b c 4 b d 5 b e 6 现在要将其转化为： col1 c d e a 1 2 3 b 4 5 6 此时需要使用到max(case … when … then … else 0 end)，仅限于转化的字段为数值类型，且为正值的情况。 HQL语句为： select col...阅读全文
本节主要介绍explode和posexplode函数的使用。1、数据介绍 主要包括三列，分别是班级、姓名以及成绩，数据表名是default.classinfo。2、单列Explode 首先来看下最基本的，我们如何把student这一列中的数据由一行变成多行。这里需要使用split和explode，并结合lateral view实现。代码如下：select class,student_name from default.classinfo lateral view explode(split(st...阅读全文
