explode与lateral view在关系型数据库中本身是不该出现的，因为他的出现本身就是在操作不满足第一范式的数据（每个属性都不可再分）， 本身已经违背了数据库的设计原理（不论是业务系统还是数据仓库系统），不过大数据技术普及后，很多类似pv，uv的数据，在业务系统中是存贮在非关系型数据库中， 用json存储的概率比较大，直接导入hive为基础的数仓系统中，就需要经过ETL过程解析这类数据，explode与lateral view在这种场景下大显身手。 explode作用是处理map结构的字...阅读全文
download：百度网盘2022全新升级，综合就业率常年第一，王牌编程语言0基础入门，高效掌握Java工程师所需能力，冲击大厂高薪一课学懂学透，给你更高的就业起点，更好的就业终点内容过“硬”紧跟市场用人标准聚焦主流技术企业级开发能力每年升级完善讲师过“硬”只要大厂经历讲师2年+开发经验助教“大师”带“小白”你的起点就是“BAT”就业只是起点，我们的目标是高薪就业，稳定就业，更为你长久的职业生涯赋能一套经过时间的考验、无数学生的验证，不断打磨升级的精品课程阅读全文
Oracle 12C RAC modifying scan configuration Oracle modify time zone In depth study on the relationship between Oracle DB server system time modification and SCN Oracle block SCN / commit SCN / cleanup SCN description The first bullet in Oracle ASM Tr...阅读全文
我不是故意在JAVA中谈尾递归的，因为在JAVA中谈尾递归真的是要绕好几个弯，只是我确实只有JAVA学得比较好，虽然确实C是在学校学过还考了90+，真学得没自学的JAVA好 不过也是因为要绕几个弯，所以才会有有意思的东西可写，另外还有我发现把尾递归如果跟JAVA中的GC比对一下，也颇有一些妙处（发现还没有人特地比较过） （不过后来边写边整理思路，写出来又是另一个样子了） 转载请注明：博客园-阁刚广志，地址：http://www.cnblogs.com/bellkosmos/p/5280619...阅读全文
在 Spring Boot 项目中，怎样将 pom.xml 文件里面添加的依赖中的 bean 注册到 Spring Boot 项目的 Spring 容器中呢？你可能会首先想到使用 @ComponentScan 注解，遗憾的是 @ComponentScan 注解只能扫描 Spring Boot 项目包内的 bean 并注册到 Spring 容器中，项目依赖包中的 bean 不会被扫描和注册。此时，我们需要使用 @EnableAutoConfiguration 注解来注册项目依赖包中的 bean。而...阅读全文
网上有一些maven-shade-plugin替代maven-assembly-plugin的文章，原因是代maven-assembly-plugin打出的jar包中要么是不能设置Main-Class，要么spring的META-INF/spring.*文件相互覆盖了。对于这两个问题，maven-assembly-plugin在当前的版本(3.1.0)中都可以解决了(方法见https://my.oschina.net/u/2377110/blog/1584205)。 实际上这两个插件所针对的用途...阅读全文
<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.1.1</version> <configuration> <!-- put your configurations here --> <!--只包含该项目代码中用到的jar,在父项目中引入了，但在当前模块中没有用到就会被删掉--> <minimi...阅读全文
正则表达式 ?: 的理解 swinm的博客 07-24 563 ?: 是 不想被捕获的时候使用 比如 ([a-z][0-9])+ 这个正则表达式里 ( ) 里面的内容被捕获了， 反向引用的时候可以用上 。 一般正则替换的时候用的多 像UBB代码 但是 如果写成 (?:[a-z][0-9])+ 跟上面 正则表达式 整体匹配是一样的 就是 不会捕获 ( )里内容了。 也就是不能使用 反向引用 比如 PHP 手册里 有个 正则替换的函数 preg_replace 有的列子 $string = 'Apr...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive 正则表达式概述1.1 字符集合:1.2 边界集合:1.3 重复次数集合:1.4 组合操作符:1.5 匹配操作符:1.6 转义操作符:二.Hive 正则表达式案例2.1 regexp2.2 regexp_replace2.2.1 截取字符串中汉字部分2.2.2 截取字符串中数字部分2.2.3 截取字符串中字母部分2.2.4 截取字符串中的大小写字母和数字2.3 regexp_extract参考： 一.Hive 正则...阅读全文
正则表达式的() [] {}有不同的意思。 () 是为了提取匹配的字符串。表达式中有几个()就有几个相应的匹配字符串。 (\s*)表示连续空格的字符串。 []是定义匹配的字符范围。比如 [a-zA-Z0-9] 表示相应位置的字符要匹配英文字符和数字。[\s*]表示空格或者*号。 {}一般用来表示匹配的长度，比如 \s{3} 表示匹配三个空格，\s{1,3}表示匹配一到三个空格。 (0-9) 匹配 '0-9′ 本身。 [0-9]* 匹配数字（注意后面有 *，可以为空）[0-9]+ 匹配数字（注意后...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive分区表概述二.静态分区2.1 单分区测试2.2 多分区测试三.动态分区3.1 动态分区测试3.2 动态分区和静态分区混合使用四.分区的其它操作4.1 恢复分区4.2 归档分区4.3 交换分区参考 一.Hive分区表概述 数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。 hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以...阅读全文
1、实战开发遇到聚合问题 请教一个问题，ES 在聚合的时候发生了一个奇怪的现象聚合的语句里面size设置为10和大于10导致聚合的数量不一致，这个size不就是返回的条数吗？会影响统计结果吗？dsl语句摘要（手机敲不方便，双引号就不写了）： aggs:{topcount:{terms:{field:xx,size:10}}} 就是这个size，设置10和大于10将会导致聚合结果不一样，难道是es5.x的bug吗？ 以上是实战中的真实问题，基于这个问题，有了本篇文章。 本文探讨的聚合主要指：ter...阅读全文
以下操作基于es6.8 第一种方式 这种方式查询出来的数据不是扁平化的，而是一层套一层的，比如字段一套字段二。 GET 索引name/索引type/_search { "size": 0, "aggregations": { "字段一的结果命名": { "terms": { "field": "要group的字段" }, "aggregations": { "字段二的结果命名": { "terms": { "field": "要group的字段" } } } } } } 结果，one下面的buc...阅读全文
What can I do to prevent this in the future? If you are on a personal connection, like at home, you can run an anti-virus scan on your device to make sure it is not infected with malware. If you are at an office or shared network, you can ask the net...阅读全文
Linked大佬Jay Kreps曾发表过一篇博客，简单阐述了他对数据仓库架构设计的一些想法。从Lambda架构的缺点到提出基于实时数据流的Kappa架构。本文将在Kappa架构基础上，进一步谈数仓架构设计。 什么是Lambda架构？ 借用Jay Kreps的一张图来看，Lambda架构主要由这几部分构成：数据源（Kafka），数据处理（Storm，Hadoop），服务数据库（Serving DB）。其中数据源和服务数据库是整个架构数据的入口和出口。数据处理则是分为在在线处理和离线处理两部分。 ...阅读全文
导读SQL是IT行业很多岗位都要求具备的一项能力，对于数据岗位而言更是如此，甚至说扎实的SQL基础也往往是入职这些岗位的必备技能。而在SQL面试中，一道出镜频率很高的题目就是行转列和列转行的问题，可以说这也是一道经典的SQL题目，本文就这一问题做以介绍分享。 给定如下模拟数据集，这也是SQL领域经典的学生成绩表问题。两张期望的数据表分别如下：1）长表：scoreLong2）宽表：scoreWide考察的问题就是通过SQL语句实现在这两种形态间转换，其中长表转为宽表即行转列，宽表转为长表即列转行。...阅读全文
假设有以下两个表格，分别为vtable和htable，期望使用SQL实现相互转化，本文将展示如何分别使用标准SQL、Presto、和Hive实现。 vtable uid key value 101 c1 11 101 c2 12 101 c3 13 102 c1 21 102 c2 22 102 c3 23 htable uid c1 c2 c3 101 11 12 13 102 21 22 23 一、标准SQL实现 1.列转行(htable => vtable) SELECT uid, max...阅读全文
cube 数据立方体（Data Cube），是多维模型的一个形象的说法.(关于多维模型这里不讲述,在数据仓库设计过程中还挺重要的,有兴趣自行查阅) 立方体其本身只有三维，但多维模型不仅限于三维模型，可以组合更多的维度 为什么叫数据立方体? 一方面是出于更方便地解释和描述，同时也是给思维成像和想象的空间； 另一方面是为了与传统关系型数据库的二维表区别开来 下图为数据立方体的形象图 其实并不用把cube理解得很高大上,只要理解为分别按照不同维度进行聚合. hive中也有cube函数,可以实现多个任意...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。 为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。 认识 Kafka 看一下维基百科的定义 Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理...阅读全文
