[白话解析] Flink的Watermark机制 0x00 摘要 对于Flink来说，Watermark是个很难绕过去的概念。本文将从整体的思路上来说，运用感性直觉的思考来帮大家梳理Watermark概念。 0x01 问题 关于Watermark，很容易产生几个问题 Flink 流处理应用中，常见的处理需求/应对方案是什么? Watermark究竟应该翻译成水印还是水位线？ Watermark本质是什么? Watermark是如何解决问题? 下面我们就来简要解答这些问题以给大家一个大致概念，在后文中，会再深入描述。 问题1. Flink 流处理应用中常见的需求/方案是什么 聚合类的处理 Flink可以每来一个消息就处理一次，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户...阅读全文
问题导读 1.什么是Hudi？ 2.Hudi对HDFS可以实现哪些操作？ 3.Hudi与其它组件对比有哪些特点？ 前两天我们About云群大佬公司想了解Hudi ，并上线使用。Hudi 或许大家了解的比较少，这里给大家介绍下Hudi这个非常实用和有潜力的组件。 Hudi是在HDFS的基础上，对HDFS的管理和操作。支持在Hadoop上执行upserts/insert/delete操作。这里大家可能觉得比较抽象，那么它到底解决了哪些问题？ Hudi解决了我们那些痛点 1.实时获取新增数据 你是否遇到过这样的问题，使用Sqoop获取Mysql日志或则数据，然后将新增数据迁移到Hive或则HDFS。对于新增的数据，有不少公司确实是这么做的，比较高级点的，通过Shell调用Sqoop迁移数据实现自动...阅读全文
Flink-Task、SubTask、并行度 ldc2013的博客 08-01 292 Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系： 算子=Task 并行度=SubTask task是抽象概念，subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager 一个流程序的并行度，可以认为就是其所有算子中算子并行度最大的并行度 数据传输模式： One-to-one：. 【白话Flink基础理论】Flink运行时(Runtime)架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive分区表概述二.静态分区2.1 单分区测试2.2 多分区测试三.动态分区3.1 动态分区测试3.2 动态分区和静态分区混合使用四.分区的其它操作4.1 恢复分区4.2 归档分区4.3 交换分区参考 一.Hive分区表概述 数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。 hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储 Hive官方网站对Hive partition的介绍: 可以使用Partitioned BY子句创建分区表。一个表可以有一个或多个分区列，并且为分区列...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。认识 Kafka看一下维基百科的定义Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka 架构Kafka 的整体架构非常简单，是显式分布式架构，主要由 Producer、Broker（Kafka） 和 Consumer 组成。Kafka架构（精简版）Producer（生...阅读全文
网上有一些maven-shade-plugin替代maven-assembly-plugin的文章，原因是代maven-assembly-plugin打出的jar包中要么是不能设置Main-Class，要么spring的META-INF/spring.*文件相互覆盖了。对于这两个问题，maven-assembly-plugin在当前的版本(3.1.0)中都可以解决了(方法见https://my.oschina.net/u/2377110/blog/1584205)。 实际上这两个插件所针对的用途其实是有差异的，而它们与maven默认的maven-jar-plugin都是打包插件，简单的区别如下： plugin function maven-jar-plugin maven 默认打包插件，用来...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一个region中有一个或多个stroe，每个stroe对应一个column families(列族)。一个store中包含一个memstore 和 0 或 多个store files。每个column family 是...阅读全文
系统学习大数据技术：大数据高级工程师学习路线 写在前面 如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 三天入门大数据实操课程 在本地搭建集群环境，在这个视频课程中你需要学习的章节是： 课程目标 VMWare WorkStation 安装 创建虚拟机 安装 Centos 7 操作系统 Centos 7 网络配置方式说明 Centos 7 网络配置 使用客户端登录操作虚拟机 克隆三台虚拟机 修改主机名 ip 映射主机名 配置无密钥登录 虚拟机的文件上传和下载 关闭防火墙 安装 Java 请在看本篇博客之前务必学习完上面视频课程中章节，如果你能学习完 三天入门大数据实操课程 所有的章节的话就更好，因为你学完这个课程可以有以下三大收获： 搭建一个属于自己的大数据集...阅读全文
hbase 2.2.6 3 hmasters ，400+ regionservers，about 80w regions， totoal hfiles compressed 20PB ，uncompressed 80P (cores40 内存187.4G 磁盘150T)/nodes 主要写入操作bulkload与put，日写入150T Regionserver 堆内存60G 1. hbase flush 和 compact对写的影响 简单说： 写数据时会先写到memstore 当memstore写满或达到其它flush触发条件，memstore刷写生成hfile 当flush时发现store下文件数超过该值hbase.hstore.blockingStoreFiles=16，会报too ma...阅读全文
开始之前在某些情况下，我们希望对服务器上的一些资源进行限制，例如服务器/api路径下的所有资源，必须先进行身份验证然后才能访问资源，对于这个需求我们可以通过 HTTP Basic authentication 协议来完成，Nginx 使用 ngx_http_auth_basic_module 模块支持 HTTP基本身份验证 功能 。 HTTP基本身份验证RFC 7235 定义了一个HTTP身份验证框架，服务器可以用来针对客户端的请求发送challenge（质询信息），客户端则可以用来提供身份验证凭证。 质询与应答的工作流程如下：身份验证框架中最常用的HTTP认证方案是 "HTTP Basic authentication"（RFC 7617）。该方案中规定使用"用户的ID/密码"作为凭证信息...阅读全文
使用 下面介绍了Java客户端连接Hbase的使用，1.2.0版本和2.3.4版本亲测下面使用的API都是一致的。（也猜测1.x版本 和2.x版本的应该基本一致）。Java连接Hbase也很简单，Maven中导入对应的 `hbase-client` 依赖即可。 1.pom配置
问题现象 线上某个应用的某个实例突然出现某些次请求服务响应极慢的情况，有几次请求超过 60s 才返回，并且通过日志发现，服务线程并没有做什么很重的操作。这种情况断断续续持续了半小时左右。 核心问题定位 由于半小时后，服务实例恢复正常，并且出现请求极慢的次数并不太多，没有能及时打印出现问题的时候线程堆栈采集相关信息。但是，我们有自己的法宝，JFR（关于 JFR，请参考我的另一系列JFR全解）。 JFR 非常适合用来事后复盘定位问题，并且配置得当的话，性能损耗极小，并且不像 APM 系统一样需要额外的采集以及需要统一的服务进程进行整合展现。我们随用随取即可，但是 JFR 面向的是单进程的问题定位，找到问题进程，定位跨进程业务问题链路追踪还是需要 APM 系统的。 我们通过如下命令采集对应时间段的...阅读全文
背景面试被问到kafka消息发送是分区选择的策略，当时回答说是随机选择一个分区；或者通过消息key的hash值和分区数计算出分区。当时只是猜测的，并没有查看过kafka的源代码来证实，今天就通过源码来证实一下。 发送消息的一个简单例子12345678910111213141516171819 private static void sendMsg() { String topicName = "kafka-test"; // 设置配置属性 Properties props = new Properties(); props.put("metadata.broker.list", "127.0.0.1:2181"); props.put("bootstrap.servers", "127.0....阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文
一、背景 最近我们项目越来越多了，然后我就在想如何才能把基础服务的打包方式统一起来，并且可以实现按照我们的要求来生成，通过研究，我们通过使用maven的assembly插件完美的实现了该需求，爽爆了有木有。本文分享该插件的配置以及微服务的统一打包方式。 二、配置步骤及其他事项 1.首先我们需要在pom.xml中配置maven的assembly插件 1
1.背景 Log4j 2中记录日志的方式有同步日志和异步日志两种方式，其中异步日志又可分为使用AsyncAppender和使用AsyncLogger两种方式。 2.Log4j2中的同步日志 所谓同步日志，即当输出日志时，必须等待日志输出语句执行完毕后，才能执行后面的业务逻辑语句。 下面通过一个例子来了解Log4j2中的同步日志，并借此来探究整个日志输出过程。 log4j2.xml配置如下：
参考资料地址1：https://pan.baidu.com/s/13-a-PAQWokSLhLvNRqcPmA 提取码: 42mk 参考资料地址2：https://share.weiyun.com/aXaiIMC3 密码：q5aaj7 HarmonyOS应用分为两大类：安装的App和免安装原子化服务应用。 用户应用程序以App Pack形式发布，它包含一个或者多个HAP（Harmony Ability Package）以及描述每个HAP属性的pack.info组成。HAP是上文提到的Ability的部署包，鸿蒙的应用是围绕一个个Ability（能力/功能）组件展开的。一个HAP由代码、资源、第三方库及配置组件组成。 华为鸿蒙开发需要学习以下几种编程语言： Java：鸿蒙系统支持使用Java语...阅读全文
hapjin 赞同来自: liuliuliu org.apache.lucene.search.ScoreDoc.doc 应该是：Apache Lucene - Index File Formats 提到的：Document Numbers 文档 index 到Lucene中时，会生成 segment。document nubmer从0开始，每索引一篇文档到segment里面，document nubmer加1.segment内document number是唯一的。 Internally, Lucene refers to documents by an integer document number. The first document added to an index is num...阅读全文
笔者今天给大家讲一下 HBase 生产环境中的实践，包括资源隔离、参数配置、性能优化等方面，部分内容参考《HBase原理与实践》（非常建议大家好好读一读，一定会大有收获），以及笔者的实战经验。HBase 业务资源隔离1. 读写分离场景RegionServer 默认情况下只提供一个请求队列给所有业务使用，导致部分延迟较高的请求影响其他对延迟敏感的业务。针对这种情况，HBase 提供了读写队列隔离方案。我们知道，HBase 有三种典型的API操作类型，分别为 get、scan 和write，其中 get 和 scan 属于 read 类型。默认场景下，HBase 只提供一个队列，所有请求都会进入该队列进行优先级排序。在一些场景下，我们要求这三种类型的访问尽可能的互相不影响，那么就需要在线上配置读...阅读全文
数人之道原创文章，转载请关注本公众号联系我们之前在《初识 HBase - HBase 基础知识》中提到过，HBase 的数据物理存储格式为多维稀疏排序 Map, 由 key 及 value 组成：key 的构成： rowkey+column family+column qualifier+timestamp+typevalue 的构成：字节形式存储在 key 中的 rowkey 可以唯一标识一行记录，因此 HBase 的查询有以下几种实现方式：通过 get 方式，指定 rowkey 获取唯一一条记录；通过 scan 方式，设置 STARTROW 和 ENDROW 参数进行范围匹配；全表扫描，即直接扫描整张表中所有行记录。可见，HBase 是通过 rowkey 来进行查询的，rowkey 设计...阅读全文
文地址：https://cloud.tencent.com/developer/article/1374592 HBase自定义拆分策略 自定义拆分策略 您可以使用自定义RegionSplitPolicy（HBase 0.94+）重写默认拆分策略。通常，自定义拆分策略应该扩展HBase的默认拆分策略： IncreasingToUpperBoundRegionSplitPolicy。 该策略可以通过HBase配置或者也可以基于每个表在全局范围内进行设置。 在hbase-site.xml中全局配置拆分策略：
>Maven是Apache软件基金会的一个开源项目，是一款优秀的项目构建工具，它主要用于帮助开发者管理项目中jar以及jar之间的依赖关系，最终完成项目编译，测试，打包和发布等工作。 前面我们已经简单介绍了Maven的概念、特点及使用，本篇文章就来给大家出一个详细的安装和配置教程，还没有安装Maven的小伙伴要赶紧收藏起来哦！ 首先给大家解释一下为什么学习Java非要学Maven不可。 ## 一、为什么要学习Maven？ 大家在读这篇文章之前大部分人都已经或多或少的经历过项目，说到项目，在原生代码无框架的时候，最痛苦的一件事情就是要在项目中导入各种各样使用的jar包，jar太多就会导致项目很难管理。 需要考虑到jar包之间的版本适配的问题还有去哪找项目中使用的这么多的jar包，等等。这个时候...阅读全文
背景 当我们在maven项目中引入第三方组件时，三方组件中的依赖可能会与项目已有组件发生冲突。 比如三方组件中依赖httpclient的版本是4.5.x，而项目中已有的httpclient版本是3.1.x，那么此时就会产生一下两种情况： 如果用三方组件的高版本httpclient覆盖原有的低版本httpclient，有可能会导致原来项目启动运行失败。即使高版本兼容低版本，也不能允许开发人员有这样高风险的操作 如果在三方maven依赖中对其对依赖的httpclient在引入时使用进行排除，使三方组件使用项目中的低版本httpclient，此时可能会因为版本不一致导致三方组件无法使用 在这样的情况下我们应当如何保证不影响项目原有依赖版本的情况下正常使用三方组件呢？此时可以考虑使用maven-sh...阅读全文
对表进行预分区，可以防止单分区一次写入数据过大，hbase 集群本身还没来得及自动分裂，导致 region 宕掉的问题。 1、创建表时指定一个拆分点数组 split point 将定义n+1个区域，其中n是分割点的数量， point 为'10'时实际上是在指定字节分割'\x31\30' hbase>create 't1','f',SPLITS => ['10','20','30'] 获取rowkey的第一个字节，按照进行分割 hbase> create 't',{NAME => 'f0',VERSIONS => 1, COMPRESSION => 'snappy'},{NAME => 'f1',VERSIONS => 10000, COMPRESSION => 'snappy'},CONFI...阅读全文
HBase和HDFS都是Apache Hadoop生态系统中的分布式存储解决方案。它们都支持数据的复制，以提高数据可靠性和可用性。在本文中，我们将探讨HBase和HDFS中副本的概念、原理以及实现方式，以及如何设置和管理副本。 HDFS的副本 HDFS是Hadoop分布式文件系统，它把大文件分割成多个块，通过多个节点存储。HDFS采用副本机制来提高数据的可靠性和可用性。当在一个节点操作数据时，数据分为多个副本存放在不同的节点上，称为数据块。HDFS中每个数据块的默认副本数量为3。数据副本机制有如下的优点： 数据的可靠性：副本机制保证了数据的备份，当一个节点出现故障时，其他副本保证了数据的安全性。 数据的可用性：在数据访问时，可以根据数据块的副本情况选择最快的节点，保证了数据访问的高效性。 在...阅读全文
资料地址1：https://pan.baidu.com/s/1bSdBzBeMXX3MTX29TJlM8Q 提取码：taht 资料地址2：https://share.weiyun.com/SNltUNLW 密码：zi3dc7 今天给大家讲讲关于多级网关与多级缓存架构的相关知识，在文章里面，我将从0到1带着大家构建基础服务接口，通过层层递进优化服务，使得服务具备多级缓存的特性，并融合OpenResty拓展一个强大的多级网关+多级缓存的技术架构。 以下就是代码实战展示： 引入springboot3的maven依赖，本质上作为pom引入，直接管理他的版本号，后续用到啥组件直接拿来即用：
[TOC] 一、 缘起编写java agent插件的时候，用到javassist修改字节码，插件用来记录调用链的，需要在方法的前后插入代码。突发奇想，用来看看javassist是怎么调用的，结果达不到预期效果，因为java agent中，javassist的代码已经加载过了，没插入记录调用链的代码，刚好看到guava中有介绍用maven-shade-plugin将guava repackage重命名包名，因此记录下。 二、maven-shade-plugin介绍maven-shade-plugin是一个maven打包插件，提供的功能比较丰富，使用也简单易懂。 1、简单打包简单打包只需要增加execution, 指定执行package的phase，为这个phase绑定global shade就...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
大家都知道Maven的优点是依赖管理，特别是前期使用ANT的开发者都有很多感触。最近要开发一个java工程，定的要使用maven，会使用hadoop和hbase的客户端，而引入一个hadoop-client的jar或者hbase的jar包，会依赖十几个其他的jar包，而这些jar包的功能我又用不上，所以这种依赖反倒成了工程瘦身的负担。关键我还有强迫症，见到这些对工程无用的包，我就抓狂。所以在网上百找千寻，找到了几个方法： 1. 项目间传递 如果我的当前项目是project1，project1要依赖project2，project1依赖project2的配置中加上
 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Eng...阅读全文
 离线计算作为大数据计算领域领军技能，在成本、稳定性、数据一致性等方面有着绝对优势。吃透Spark离线技术及相关生态，就掌握了大数据工程师的高薪密码。本文章将结合生产级项目，一栈式点亮：数据收集(DataX)、数据湖(Iceberg)、数据分析(Spark)、智能调度(DS)、数据服务(DBApi)、AI大模型(ChatGPT)、可视化(Davinci)等离线处理核心技能及生态体系，带你打通硬核技能，拓宽上升通道。 首先，我们先来认识spark： 1、什么是spark Spark是一种快速、通用、可扩展的大数据分析引擎，20...阅读全文
### 回答1： 要查看Linux中进程的父进程号，可以使用命令ps -ef或者ps aux来列出所有进程的信息，然后在输出结果中找到需要查看的进程，查看其PPID列即可得到其父进程号。另外，也可以使用命令pstree来以树形结构显示进程及其父进程。 ### 回答2： Linux是一种开源的操作系统，它的强大之处在于可以通过命令行完成绝大多数的操作，而且功能非常灵活。在Linux下，我们可以使用命令来查看进程及其相关信息。通过查看进程的父进程号，我们可以很好地了解进程之间的关系，帮助我们进行问题排查或是调优等工作。下面是具体的方法： 1. 使用ps命令查看进程信息，并指定输出相应字段的参数。 ps命令可以查看当前系统正在运行的进程，包括进程ID，所属用户，占用CPU和内存等信息。其中，父进程...阅读全文
本文正在参加「Java主题月 - Java 刷题打卡」，详情查看 活动链接 在我们日常的工作中，经常需要做对象的拷贝或转化，例如在传递参数时，把入参的DTO转化为PO存入数据库，在返回前端时把PO再转化为VO。如果再分的细一点，可能还会有DO(Domain Object)，TO(Transfer Object) ，BO(business object)等对象，随着业务的划分越来越细，对象的拷贝工作也越来越频繁，所以本文就来梳理一下常用的对象拷贝工具和它们的差异。 常用的工具大概有以下几种： Apache BeanUtils Spring BeanUtils cglib BeanCopier Hutool BeanUtil Mapstruct Dozer 准备工作，创建两个类PO和DTO： @...阅读全文
### download：[从零到一整合业务数据，构建企业可复用的数据中台[完结](https://www.zxit666.com/6588/) 作者：折向东 链接：https://www.zhihu.com/question/587955685/answer/2924772952 来源：知乎 著作权归作者一切。商业转载请联络作者取得受权，非商业转载请注明出处。 在Spring Boot中整合RocketMQ，能够经过以下步骤完成： 添加RocketMQ的依赖 在pom.xml文件中添加RocketMQ的依赖： org.apache.rocketmq rocketmq-spring-boot-starter 2.2.0 配置RocketMQ 在application.properties文件...阅读全文
