写博客 CSDN 中国开发者社区CSDN (Chinese Software Developer Network) 创立于1999年，致力为中国开发者提供知识传播、在线学习、职业发展等全生命周期服务。 教程 文章 帮助 视频 讨论 华为云入门 华为云资源专属DeC 华为云计算架构设计 华为云DevCloud实战 华为云专家_开发者中心-华为云 华为云强化实战营 WeLink免密登录华为云 单点登录华为云 钉钉免密登录华为云 华为云ModelArts送你降温神器—鬼故事生成器 华为云_CS_入门视频 华为云平台之大模型上传 前端小白历险记（二）原来是你腾讯搞的鬼！ 最新文章 为你推荐 Netty 系列笔记之开篇 netty 入门 Netty源码分析 （八）----- write过程 源码分析 ...阅读全文
周五在公司搭好的ELK上查看日志，组长让看看其中NullPointerException出现很多的原因。 通过NullPointerException搜索，点看其中一个查看，发现异常的信息就一行java.lang.NullPointerException，并没有堆栈信息。 看了几个都没有，然后翻代码看记日志的地方，调用了日志基础工程的一个方法，异常对象通过封装传了进去，其中异常信息属性取值用的是Throwables.getStackTraceAsString(e)，这是guava包提供的方法，点进去看是取了所有堆栈信息的。 那么问题来了，为什么堆栈信息没显示出来呢？ 百度了下，关键字：NullPointerException 没有堆栈 找到类似的问题，发现是JVM虚拟机对异常信息进行了优化，...阅读全文
背景String作为JDK最核心的数据类型之一，非常有必要专门学习一下，重点关注这4个文件jdk/src/java.base/share/native/libjava/String.cjdk/src/java.base/share/classes/java/lang/String.javajdk/src/java.base/share/classes/java/lang/StringLatin1.javajdk/src/java.base/share/classes/java/lang/StringUTF16.java存储无论是何种语言的何种实现，String本质上都是字节序列，所有可能的字符加起来就构成了字符集，给字符集中每个字符一个序号就是字符编码，使用最广泛的就是Unicode了，它几...阅读全文
一、概述 对于RDBMS中的join操作大伙一定非常熟悉，写sql的时候要十分注意细节，稍有差池就会耗时巨久造成很大的性能瓶颈，而在Hadoop中使用MapReduce框架进行join的操作时同样耗时，但是由于hadoop的分布式设计理念的特殊性，因此对于这种join操作同样也具备了一定的特殊性。本文主要对MapReduce框架对表之间的join操作的几种实现方式进行详细分析，并且根据我在实际开发过程中遇到的实际例子来进行进一步的说明。二、实现原理1、在Reudce端进行连接。 在Reudce端进行连接是MapReduce框架进行表之间join操作最为常见的模式，其具体的实现原理如下：Map端的主要工作：为来自不同表（文件）的key/value对打标签以区别不同来源的记录。然后用连接字段作为...阅读全文
byte 1 byte byte 值。 boolean 1 byte 布尔值，0 表示假，非零表示真。 int 4 byte 4 字节有符号整数。 long 8 byte 8 字节有符号整数。 objectID 依据 target Java 虚拟机而定，最大 8 byte Target Java 虚拟机中对象（object）的唯一 ID。这个值在整个 JDWP 的会话中不会被重用，始终指向同一个对象，即使该对象已经被 GC 回收（引用被回收的对象将返回 INVALID_OBJECT 错误。 Tagged-objectID objectID 的长度加 1 第一个 byte 表示对象的类型，比如，整型，字符串，类等等。紧接着是一个 objectID。 threadID 同 objectID 的长...阅读全文
一、Filter 的基本工作原理 1、Filter 程序是一个实现了特殊接口的 Java 类，与 Servlet 类似，也是由 Servlet 容器进行调用和执行的。 2、当在 web.xml 注册了一个 Filter 来对某个 Servlet 程序进行拦截处理时，它可以决定是否将请求继续传递给 Servlet 程序，以及对请求和响应消息是否进行修改。 3、当 Servlet 容器开始调用某个 Servlet 程序时，如果发现已经注册了一个 Filter 程序来对该 Servlet 进行拦截，那么容器不再直接调用 Servlet 的 service 方法，而是调用 Filter 的 doFilter 方法，再由 doFilter 方法决定是否去激活 service 方法。 4、但在 Filt...阅读全文
前言 最近一直在看Spring源码，其实我之前一直知道AOP的基本实现原理： 如果针对接口做代理默认使用的是JDK自带的Proxy+InvocationHandler 如果针对类做代理使用的是Cglib 即使针对接口做代理，也可以将代理方式配置成走Cglib的 之后要看AOP源码了，Proxy+InvocationHandler这套我已经很熟了，想着如果把Cglib研究研究，应该看AOP源码的时候会更快一些，因此本文就研究一下Cglib是什么、如何一些基本的使用、底层实现原理。 Cglib是什么 Cglib是一个强大的、高性能的代码生成包，它广泛被许多AOP框架使用，为他们提供方法的拦截。下图是我网上找到的一张Cglib与一些框架和语言的关系： 对此图总结一下： 最底层的是字节码Byteco...阅读全文
主流的Web服务软件，通常都基于OpenSSL和Java两种基础密码库。 Tomcat、Weblogic、JBoss等Web服务软件，一般使用Java提供的密码库。通过Java Development Kit（JDK）工具包中的Keytool工具，生成Java Keystore（JKS）格式的证书文件。Apache、Nginx等Web服务软件，一般使用OpenSSL工具提供的密码库，生成PEM、KEY、CRT等格式的证书文件。IBM的Web服务产品，如Websphere、IBM Http Server（IHS）等，一般使用IBM产品自带的iKeyman工具，生成KDB格式的证书文件。微软Windows Server中的Internet Information Services（IIS）服务，...阅读全文
Netty 源码中大量使用了异步编程，从代码实现角度看就是大量使用了线程池和 Future。熟悉 Java 5 的同学一定对 Future 不陌生。简单来说就是其代表了一个异步任务，任务将在未来某个时刻完成，而 Future 这个接口就是用来提供例如获取接口、查看任务状态等功能。Netty 扩展了 Java 5 引入的 Future 机制。从下面的类图我们可以看到相关类的关系：Netty 的 Future 接口需要注意的是，上面类图中有两个 Future，最上面的是 java.util.concurrent.Future，而其下面的则是 io.netty.util.concurrent.Future。JDK 的 Future 对象，该接口的方法如下：// 取消异步操作 boolean can...阅读全文
基于SpringCloud+Kubernetes ，微服务的容器化持续交付实战 【点击下载】目前微服务和容器是业界很火的技术。此课程是专注于微服务的容器化持续交付实战课程。通过课程，你不仅可以理解Spring Cloud的基础，还能掌握微服务的搭建，持续集成，持续测试，持续部署，深入理解容器化的实现原理，学会用Helm Chart把多个微服务一键部署到Kubernetes。获得普通开发者蜕变为全栈架构师的核心技能。适合人群具备有1年以上Java开发经验希望晋升为架构师的开发者 / DevOps 工程师技术储备要求Java语言基础， 有Jenkins，Kubernetes经验更佳百度网盘链接下...阅读全文
Java开发神器Lombok的使用与原理在面向对象编程中必不可少需要在代码中定义对象模型，而在基于Java的业务平台开发实践中尤其如此。相信大家在平时开发...消失er阅读 6,457评论 16赞 14...阅读全文
utf-8格式如何转化为gbk格式 02-27 阅读数 6225 utf-8格式如何转化为gbk格式 今天在编码的时候由于存储的数据和取得数据格式不一致，... 博文 来自： HY845638534的博客 解决中文字符乱码问题，如何将gbk格式转换utf-8格式 04-06 阅读数 2104 中文乱码的原因是因为编码格式是gbk的，而显示的时候是utf-8格式的，所以需要将其utf-8格式，才能正常显示出来。1.gbk生成utf8程序需要经过两次转化。 1.gbk->uni... 博文 来自： u012681014的专栏 Java练习>转换流>>将GBK编码的文本文件，转换为UTF-8编码的文本文件 08-13 阅读数 1312 练习：转换文件编码。题目：将GBK编码的文本文件，转换为...阅读全文
为什么想要写这个，是因为在上周，表格存储的一个客户，告知我们在将数据通过DataX从OTS导出到ODPS后，发现数据『丢失』了。而在调查过后，发现数据并不是所谓的『丢失』了，而是数据被『改变』了。 什么原因导致数据发生了『改变』呢？却是因为一个大部分Java程序员都会忽略的问题导致的，所以我觉得有必要单独拿出来讲讲。 首先看下如下代码: byte[] original1 = new byte[]{(byte)0xef, (byte)0x8f, (byte)0x8f}; byte[] transformed1 = new String(original1).getBytes(); System.out.println(Arrays.toString(original1)); System.ou...阅读全文
1 标准参数 标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容； 通过命令 java即可查看 如下 where options include: -d32 use a 32-bit data model if available -d64 use a 64-bit data model if available -server to select the "server" VM The default VM is server, because you are running on a server-class machine. -cp
Flink是下一代大数据计算平台，可处理流计算和批量计算。《Flink-1.9流计算开发：十三、min、minBy、max、maxBy函数》cosmozhu写的本系列文章的第十三篇。通过简单的DEMO来演示min、minBy、max、maxBy函数执行的效果 。需求本篇文章我们来区分min(max)与minBy(maxBy)之间的区别，下面案例是每10秒计算一次最近1分钟的最小值订单。解决方案 public static void main(String[] args) throws Exception { final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); ...阅读全文
BigDecimal，相信对于很多人来说都不陌生，很多人都知道他的用法，这是一种java.math包中提供的一种可以用来进行精确运算的类型。 很多人都知道，在进行金额表示、金额计算等场景，不能使用double、float等类型，而是要使用对精度支持的更好的BigDecimal。 所以，很多支付、电商、金融等业务中，BigDecimal的使用非常频繁。而且不得不说这是一个非常好用的类，其内部自带了很多方法，如加，减，乘，除等运算方法都是可以直接调用的。 除了需要用BigDecimal表示数字和进行数字运算以外，代码中还经常需要对于数字进行相等判断。 关于这个知识点，在最新版的《阿里巴巴Java开发手册》中也有说明： 这背后的思考是什么呢？ 我在之前的CodeReview中，看到过以下这样的低级...阅读全文
download：迈向高级的Java面试突围课本课采用大厂多轮面试形式贯穿主线，内容涵盖Java中高级面试的必考点、高频点、加薪点。同时融合讲师多年阿里字节考官经验，通过真实模拟不同面试场景，将面试每个环节和应对心得逐一讲解，助你突破自身瓶颈，超常发挥，顺利通过大厂面试。技术要求Java Web1年以上实际开发经验环境参数环境参数：JDK1.8、SpringBoot2.x 开发工具：Intelij IDEA20世纪90年代，硬件范畴出现了单片式核算机系统，这种价格低廉的系统一出现就当即引起了主动控制范畴人员的留神，由于运用它能够大起伏行进消费类电子产品（如电视机顶盒、面包烤箱、移动电话等）的智能化程度。Sun公司为了抢占市场先机，在1991年景立了一个称为Green的项目小组，帕特里克、詹姆...阅读全文
我们什么时候才能长大，许一个温暖而明媚的未来。 爱情应该是很温暖的吧，嗯，相互温暖的，就像电磁炉和平底锅一样 。哥哥说的我们俩就是电磁炉和平底锅，在一起就会发热...梦兮兮阅读 47评论 0赞 ...阅读全文
前两天被人问到这样一个问题: “松哥，为什么我的 Spring Boot 项目打包成的 jar ，被其他项目依赖之后，总是报找不到类的错误？” 大伙有这样的疑问，就是因为还没搞清楚可执行 jar 和普通 jar 到底有什么区别？今天松哥就和大家来聊一聊这个问题。 多了一个插件 Spring Boot 中默认打包成的 jar 叫做 可执行 jar，这种 jar 不同于普通的 jar，普通的 jar 不可以通过 java -jar xxx.jar 命令执行，普通的 jar 主要是被其他应用依赖，Spring Boot 打成的 jar 可以执行，但是不可以被其他的应用所依赖，即使强制依赖，也无法获取里边的类。但是可执行 jar 并不是 Spring Boot 独有的，Java 工程本身就可以打包成...阅读全文
Java中的“菱形继承”问题 什么是菱形继承Java代码场景一场景二 简单结论解决办法 什么是菱形继承 一张图说明。在C++中允许多继承，D类继承自B、C,而B、C有同一个父类A。那么这个时候调用say方法是否成功？答案是不能,编译器并不能判断这个say来自哪个父类。 #include
首页 > 基础教程 > 基础知识 > JDK&JRE&JVM Java JVM 参数设置大全 JVM参数设置说明 参数名称 含义 默认值 -Xms 初始堆大小 物理内存的1/64(<1GB) 默认(MinHeapFreeRatio参数可以调整)空余堆内存小于40%时，JVM就会增大堆直到-Xmx的最大限制. -Xmx 最大堆大小 物理内存的1/4(<1GB) 默认(MaxHeapFreeRatio参数可以调整)空余堆内存大于70%时，JVM会减少堆直到 -Xms的最小限制 -Xmn 年轻代大小(1.4or lator) 注意：此处的大小是（eden+ 2 survivor space).与jmap -heap中显示的New gen是不同的。 整个堆大小=年轻代大小 + 年老代大小 + 持久代...阅读全文
在mybatis一级缓存二级缓存中已经介绍过了二级缓存的大致原理。下面我们用redis来实现一下二级缓存。环境是springmvc+mybatis+redis 步骤一、引入redis相关的maven依赖
步骤： 一：获取到bean的class实例，方式分两种， 1.通过spring注入的：通过Spring上下文获取到需要代理执行的class实例 Class selectsClass = SpringContextUtils.getBean("beanName").getClass(); 2.没使用spring注入的：通过Class.forName初始化加载bean Class selectsClass= Class.forName(TableSelectsUtil.class.getName()); 二:通过方法名从class实例中获取方法实例 Method method = selectsClass.getMethod("getAll", new Class[] {String.class...阅读全文
Immutable(不可变)集合 一、概述 guava是google的一个库，弥补了java语言的很多方面的不足，很多在java8中已有实现，暂时不展开。Collections是jdk提供的一个工具类。 Guava中不可变对象和Collections工具类的unmodifiableSet/List/Map/etc的区别： 当Collections创建的不可变集合的wrapper类改变的时候，不可变集合也会改变，而Guava的Immutable集合保证确实是不可变的。 1、JDK中实现immutable集合 在JDK中提供了Collections.unmodifiableXXX系列方法来实现不可变集合, 但是存在一些问题，下面我们先看一个具体实例： public class Immutable...阅读全文
在上一章我们介绍了函数式编程的概念和函数式接口。Lambda 表达式就是函数式编程的具体体现，它需要借助函数式接口才能应用在 Java 语言中。 定义 在编程语言中，lambda 表达式是一种用于指定匿名函数或者闭包的运算符。Lambda 可以很清晰地表达一个匿名函数，可以被传递。有了 Lambda 表达式之后，Lambda 表达式为 Java 添加了缺失的函数式编程特性，使我们能将函数当作一等公民看待。 在将函数作为一等公民的语言中，Lambda 表达式的类型是函数。但在 Java 中，Lambda 表达式是对象，他们必须依附于一类特别的对象类型-函数式接口，因为 Java 要保持向后兼容。 Java 的 Lambda 表达式是一种匿名函数，它是没有声明的方法，即没有访问修饰符，返回值声明...阅读全文
今天和两个同事讨论Log4j，他们都需要解决一个问题，怎么分开输出Logger。这么讲不清楚，举个例子： Java代码 package com.gmail.at.ankyhe.log4jtest; import org.apache.log4j.Logger; public class ClassA { private static Logger logger = Logger.getLogger(ClassA.class.getName()); public ClassA() { logger.info("ENTER ClassA()"); } public void foo() { logger.info("foo()"); bar(); } public void bar() { Lo...阅读全文
Netty之ByteBuf零拷贝我们先来看下Zero-copy的定义： "Zero-copy" describes computer operations in which the CPU does not perform the task of copying data from one memory area to another. This is frequently used to save CPU cycles and memory bandwidth when transmitting a file over a network. 所谓的 Zero-copy, 就是在操作数据时, 不需要将数据 buffer 从一个内存区域拷贝到另一个内存区域. 少了一次内存的拷贝, 减少了cpu...阅读全文
当Java程序性能达不到既定目标，且其他优化手段都已经穷尽时，通常需要调整垃圾回收器来进一步提高性能，称为GC优化。但GC算法复杂，影响GC性能的参数众多，且参数调整又依赖于应用各自的特点，这些因素很大程度上增加了GC优化的难度。即便如此，GC调优也不是无章可循，仍然有一些通用的思考方法。本篇会介绍这些通用的GC优化策略和相关实践案例，主要包括如下内容： > 优化前准备: 简单回顾JVM相关知识、介绍GC优化的一些通用策略。 > 优化方法: 介绍调优的一般流程：明确优化目标→优化→跟踪优化结果。 > 优化案例: 简述笔者所在团队遇到的GC问题以及优化方案。一、优化前的准备GC优化需知为了更好地理解本篇所介绍的内容，你需要了解如下内容。 1. GC相关基础知识，包括但不限于： a) GC工作原...阅读全文
Netty 中大量 I/O 操作都是异步执行，本篇博文来聊聊 Netty 中的异步编程。 Java Future 提供的异步模型 JDK 5 引入了 Future 模式。Future 接口是 Java 多线程 Future 模式的实现，在 java.util.concurrent包中，可以来进行异步计算。 对于异步编程，我们想要的实现是：提交一个任务，在任务执行期间提交者可以做别的事情，这个任务是在异步执行的，当任务执行完毕通知提交者任务完成获取结果。 那么在 Future 中是怎么实现的呢？我们先看接口定义： public interface Future
包青天的奇幻漂流——评《少年包青天Ⅲ》公元1062年，北宋名臣包拯去世了。但是他万万没有想到，在他去世之后这么多年会发明，电视这个东西，而且他的形象被加...巴图鲁阅读 242评论 6赞 1...阅读全文
我们来比较Java的class和interface的区别： 可以实例化class（非abstract）； 不能实例化interface。 所有interface类型的变量总是通过向上转型并指向某个实例的： CharSequence cs = new StringBuilder(); 有没有可能不编写实现类，直接在运行期创建某个interface的实例呢？ 这是可能的，因为Java标准库提供了一种动态代理（Dynamic Proxy）的机制：可以在运行期动态创建某个interface的实例。 什么叫运行期动态创建？听起来好像很复杂。所谓动态代理，是和静态相对应的。我们来看静态代码怎么写： 定义接口： public interface Hello { void morning(String na...阅读全文
在某些情况下，我们需要动态生成java代码，通过动态编译，然后执行代码。JAVA API提供了相应的工具（JavaCompiler）来实现动态编译。下面我们通过一个简单的例子介绍，如何通过JavaCompiler实现java代码动态编译。 一、获取JavaCompiler JavaCompiler compiler = ToolProvider.getSystemJavaCompiler(); 获取JDK提供的java编译器，如果没有提供编译器，则返回null； 二、编译 //获取java文件管理类 StandardJavaFileManager manager = compiler.getStandardFileManager(null, null, null); //获取java文件对象...阅读全文
阻塞队列 阻塞队列（BlockingQueue）是一个支持两个附加操作的队列。这两个附加的操作是：在队列为空时，从队列中获取元素的消费者线程会一直等待直到队列变为非空。当队列满时，向队列中放置元素的生产者线程会等待直到队列可用。阻塞队列常用于生产者和消费者的场景，生产者是往队列里添加元素的线程，消费者是从队列里拿元素的线程。 在阻塞队列不可用时，这两个附加操作提供了4种处理方式： 抛出异常：当队列满时，插入元素会抛出IllegalStateException；返回特殊值：offer()是入队方法，当插入成功时返回true，插入失败返回false；poll()是出队方法，当出队成功时返回元素的值，队列为空时返回null一直阻塞：当队列满时，阻塞执行插入方法的线程；当队列空时，阻塞执行出队方法的...阅读全文
大热的《阿里巴巴Java开发规约》中有提到： 【推荐】集合初始化时，指定集合初始值大小。说明：HashMap使用如下构造方法进行初始化，如果暂时无法确定集合大小，那么指定默认值（16）即可： public HashMap (int initialCapacity) { this(initialCapacity, DEFAULT_LOAD_FACTOR); } 看到代码规约这一条的时候，我觉得是不是有点太 low 了，身为开发，大家都知道 HashMap 的原理。 什么？这个要通过插件监测？没必要吧，哪个开发不知道默认大小，何时 resize 啊，然后我和孤尽打赌随机咨询几位同学以下几个问题： HashMap 默认bucket数组多大？ 如果new HashMap<>(19)，bucket数组...阅读全文
前言我们在上篇文章 排序算法（五）-双调排序 介绍了双调排序，今天我们来看一下另一种排序算法 —— TimSort。TimSort是Tim Peters发明的一种混合排序，最早是Python语言的内置排序算法。关于Python内置的TimSort描述可以查看该 文档。关于TimSort的理论基础，可以查看该篇论文 Optimistic Sorting and Information Theoretic Complexity，这篇论文论证了插入排序和归并排序合并后效率提高的可能性，即TimSort的理论基础。Java自Java 7 后加入TimSort，其实现参考了Python版本的实现，我们可以在JDK源码的util包下找到它，java.util.TimSort，这个class不是publi...阅读全文
深入理解JDK动态代理机制本文是基于jdk1.8来对动态代理的底层机制进行探究的 Java中代理的实现一般分为三种：JDK静态代理、JDK动态代理以及CGLIB动态代理。在Spring的AOP实现中，主要应用了JDK动态代理以及CGLIB动态代理。但是本文着重介绍JDK动态代理机制，CGLIB动态代理后面会接着探究。 代理一般实现的模式为JDK静态代理：创建一个接口，然后创建被代理的类实现该接口并且实现该接口中的抽象方法。之后再创建一个代理类，同时使其也实现这个接口。在代理类中持有一个被代理对象的引用，而后在代理类方法中调用该对象的方法。 其实就是代理类为被代理类预处理消息、过滤消息并在此之后将消息转发给被代理类，之后还能进行消息的后置处理。代理类和被代理类通常会存在关联关系(即上面提到的持...阅读全文
【这是 ZY 第 17 篇原创技术文章】 预备知识 了解 Java 反射基本用法 看完本文可以达到什么程度 了解 Java 反射原理及 Java 反射效率低的原因 文章概览 我们在 Java 开发中，难免会接触到反射，而在一些框架中，反射的运用更是常见。我相信，每次提到反射，大家的第一反应一定是反射效率低，尽量少使用。 但是反射的效率到底低多少？反射效率低的原因在哪里？ 这篇文章就来探索一下这些问题。 由于本机上安装的是 openjdk 12，所以这里就使用 openjdk 12 源码进行分析。 我们先看结论，然后分析一下 Java 反射的原理，过程中大家可以根据结论，对源码做一些思考，然后再根据原理中的一些实现，看看 Java 反射效率低的原因。 零、先放结论 Java 反射效率低主要原因...阅读全文
1. DirectBuffer 属于堆外存，那应该还是属于用户内存，而不是内核内存？来自 ByteBuffer (Java Platform SE 8 )The contents of direct buffers may reside outside of the normal garbage-collected heap所以是否真的是堆外存并不是强制的，是依赖jvm实现的。回归正题：用户内存还是内核内存？首先，我们知道，每个进程是有独立的地址空间的，也就是说对于一个java进程来说，他只能看到自己的内存，他只能读写自己的内存。而内核其实是有上帝视角的，如早期的linux，内核是能看到并读写所有物理内存的（关于这一点，有兴趣的可以参看我的简写版linux的实现：https://github...阅读全文
Netty 权威指南笔记二Java NIO 和 Netty 对比 Java NIO 开发Netty 开发 示例程序 Netty 权威指南笔记（二）：Java NIO 和 Netty 对比 Netty 是业界流行的 NIO 框架之一，它的健壮性、功能、性能、可定制性和可扩展性在同类框架中都说首屈一指的，也已经得到了成百上千商用项目的验证。Netty 框架都有什么优点呢？ API 使用简单，开发门槛低。功能强大，预置多种编解码功能，支持多种主流协议。定制能力强，可以通过 ChannelHandler 对通信框架灵活扩展。性能高。成熟稳定，社区活跃，已经修复了 Java NIO 所有的 Bug。经历了大规模商业应用的考验，质量有保证。 Java NIO 开发 我们看一看在 笔记（一）里面的 Jav...阅读全文
groovy是一种动态脚本语言，适用于一些可变、和规则配置性的需求，目前Spring提供ScriptSource接口，支持两种类型，一种是 ResourceScriptSource，另一种是 StaticScriptSource，但是有的场景我们需要把groovy代码放进DB中，所以我们需要扩展这个。 ResourceScriptSource：在 resources 下面写groovy类 StaticScriptSource：把groovy类代码放进XML里 DatabaseScriptSource：把groovy类代码放进数据库中 工程模块为： ResourceScriptSource groovy的pom
TIP 本文主要是介绍 Flink-SpringBoot结合案例 。 Spring Boot整合Flink【----------------------------】Flink与Spring Boot的集成Spring容器的集成点依赖jar包注意点maven打包注意点注意包冲突目前方案的缺陷与解决思路参考文章 # Spring Boot整合Flink 使用spring boot整合flink可以快速的构建起整个应用，将关注点重点放在业务逻辑的实现上。在整合的过程中遇到许多问题，最大的问题是flink流无法访问spring容器中的类，从而导致空指针异常，解决思路是在流中进行spring bean的初始化以获得ApplicationContext，进而使用其getBean方法获取类实例。 软件版...阅读全文
文章目录 频繁出现的反序列化漏洞parse()及parseObject()AutoType及安全校验AutoType安全校验AutoType黑名单机制SafeMode安全机制攻击思路 反序列化攻击模拟TemplatesImpl攻击调用链路攻击类Translet生成构造攻击JSON串攻击模拟 写在最后 频繁出现的反序列化漏洞 最近公司的小伙伴们收到了一波安全工单，因为FastJson存在高危漏洞，要求将FastJson版本号升级到1.2.69及以上 漏洞描述如下 在Fastjson<=1.2.68的版本中，通过新的Gadgets链绕过autoType开关，在autoType关闭的情况下仍然可能可以绕过黑白名单防御机制，实现了反序列化漏洞利用的远程代码执行效果，同时，此次修复补丁也补充了auto...阅读全文
download：百度网盘2022全新升级，综合就业率常年第一，王牌编程语言0基础入门，高效掌握Java工程师所需能力，冲击大厂高薪一课学懂学透，给你更高的就业起点，更好的就业终点内容过“硬”紧跟市场用人标准聚焦主流技术企业级开发能力每年升级完善讲师过“硬”只要大厂经历讲师2年+开发经验助教“大师”带“小白”你的起点就是“BAT”就业只是起点，我们的目标是高薪就业，稳定就业，更为你长久的职业生涯赋能一套经过时间的考验、无数学生的验证，不断打磨升级的精品课...阅读全文
假设我们作业中有这样一段逻辑stream.map(xxx).filter(_ != null).xxx，并且map算子有可能返回NULL，你觉得作业运行会抛NPE吗？明明下游有filter not null，不应该出错才对？但实际情况是运行中有可能抛出异常。1.异常信息可能抛出的异常信息大致如下： // 1. 如果map算子返回值类型为Java Tuple Caused by: java.lang.NullPointerException at org.apache.flink.api.java.typeutils.runtime.TupleSerializer.copy(TupleSerializer.java:111) at org.apache.flink.api.java.typeu...阅读全文
前言零拷贝（Zero-copy）技术指在计算机执行操作时，CPU 不需要先将数据从一个内存区域复制到另一个内存区域，从而可以减少上下文切换以及 CPU 的拷贝时间。它的作用是在数据报从网络设备到用户程序空间传递的过程中，减少数据拷贝次数，减少系统调用，实现 CPU 的零参与，彻底消除 CPU 在这方面的负载。实现零拷贝用到的最主要技术是 DMA 数据传输技术和内存区域映射技术。零拷贝机制可以减少数据在内核缓冲区和用户进程缓冲区之间反复的 I/O 拷贝操作。零拷贝机制可以减少用户进程地址空间和内核地址空间之间因为上下文切换而带来的 CPU 开销。正文1. 物理内存和虚拟内存由于操作系统的进程与进程之间是共享 CPU 和内存资源的，因此需要一套完善的内存管理机制防止进程之间内存泄漏的问题。为了更...阅读全文
公号：码农充电站pro 主页：https://codeshellme.github.io ES 中的聚合分析（Aggregations）是对数据的统计分析功能，它的优点是实时性较高，相比于 Hadoop 速度更快。 1，聚合的分类 ES 中的聚合分析主要有以下 3 大类，每一类都提供了多种统计方法： Metrics：对文档字段进行统计分析（数学运算），多数 Metrics 的输出是单个值，部分 Metrics 的输出是多个值。 Sum：求和 Max：求最大值 Min：求最小值 Avg：求平均值 等 Bucket：一些满足特定条件的文档集合（对文档进行分组）。 Terms Range 等 Pipeline：对其它的聚合结果进行再聚合。 Avg bucket：求平均值 Max bucket：求最...阅读全文
Java实操避坑指南 业务代码-整合框架-存储-缓存常见错误详解 【点击下载】面试通过，却担心通不过试用期？明明认真做了，还是Bug满天飞？刚入行的Java开发者，总会遇到这样那样的坑。资深技术专家，调动多年经验，为你排除易出错、易被忽视、易被曲解的“坑”，根据业务需求流程，带你系统处理业务代码-整合框架-存储-缓存的常见错误，清扫知识误区。通过课程，让你对重点、难点和知识点理解更加的清晰和熟练，助力你升级打怪再上一个台阶！适合人群有Java实际开发经验，对排查Bug有困扰的Java开发者技术储备要求有实际开发经验。包括：Java Web实际开发经验 Spring、SpringMVC、SpringBoot、MySQL、Redis 实际使用基础百度网盘链接下...阅读全文
很多文章在谈论到BIO、NIO、AIO的时候仅仅是抛出一堆定义，以及一些生动的例子。看似很好理解。但是并没有将最基础的本质原理显现出来，如果没有没有从IO的原理出发的话是很难理解这三者之间的区别的。所以本篇文章从Java是如何进行IO操作为开头进行分析。 Java中的IO原理 首先Java中的IO都是依赖操作系统内核进行的，我们程序中的IO读写其实调用的是操作系统内核中的read&write两大系统调用。 那内核是如何进行IO交互的呢？ 网卡收到经过网线传来的网络数据，并将网络数据写到内存中。 当网卡把数据写入到内存后，网卡向cpu发出一个中断信号，操作系统便能得知有新数据到来，再通过网卡中断程序去处理数据。 将内存中的网络数据写入到对应socket的接收缓冲区中。 当接收缓冲区的数据写好之...阅读全文
文章目录 官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.html 1.任务 Task:任务 是一个阶段多个相同功能的subtask的集合 ==》 对比于spark中的taskSet SubTask:子任务 subTask是Flink中任务的最小单元，subta...阅读全文
