前言 前不久组内又有一次我比较期待的分享：”Linux 的虚拟内存”。是某天晚上加班时，我们讨论虚拟内存的概念时，leader 发现几位同事对虚拟内存认识不清后，特意给这位同学挑选的主题（笑）。 我之前了解一些操作系统的概念，主要是毕业后对自己大学四年的荒废比较懊恼，觉得自己有些对不起计算机专业出身，于是在工作之余抽出时间看了哈工大在网易云课堂的操作系统公开课，自己也读了一本讲操作系统比较浅的书 《Linux内核设计与实现》，而且去年自己用 C 写简单的服务器时，也追根究底了解了更多的系统底层知识。多亏了这些知识，让我对应用层的知识更有掌控感，也在上次排查问题时（从应用到内核查接口超时）助了我一臂之力。 前几天另一位同事来问另一个虚拟内存相关的问题，我才发现对于虚拟内存，我的理解还不够深刻，...阅读全文
Java堆外内存排查小结 06-29 阅读数 1万+ 简介JVM堆外内存难排查但经常会出现问题，这可能是目前最全的JVM堆外内存排查思路。通过本文，你应该了解：pmap命令gdb命令perf命令内存RSS、VSZ的区别javaNMT起因这几天遇到一个比较... 博文 来自： 小姐姐味道 阿里巴巴 Arthas 3.1.0版本：在线教程、内存编译器和强大的自动补全 02-14 阅读数 52 Arthas是Alibaba开源的Java诊断工具，深受开发者喜爱。从Arthas上个版本发布，已经过去两个多月了，Arthas 3.1.0版本不仅带来大家投票出来的新LOGO，还带来强大的新功能和更... 博文 来自： weixin_33975951的博客 JVM堆外内存问题排查 07-15 阅读数 75...阅读全文
学习Java并发，到后面总会接触到happens-before偏序关系。初接触玩意儿简直就是不知所云，下面是经过一段时间折腾后个人对此的一点浅薄理解，希望对初接触的人有帮助。如有不正确之处，欢迎指正。 synchronized、大部分锁，众所周知的一个功能就是使多个线程互斥/串行的（共享锁允许多个线程同时访问，如读锁）访问临界区，但他们的第二个功能 —— 保证变量的可见性 —— 常被遗忘。 为什么存在可见性问题？简单介绍下。相对于内存，CPU的速度是极高的，如果CPU需要存取数据时都直接与内存打交道，在存取过程中，CPU将一直空闲，这是一种极大的浪费，妈妈说，浪费是不好的，所以，现代的CPU里都有很多寄存器，多级cache，他们比内存的存取速度高多了。某个线程执行时，内存中的一份数据，会存在...阅读全文
B+树 B+ Tree定义B+树是一种多路平衡查找树,是对B树(B-Tree)的扩展.首先,一个M阶的B树的定义为: 每个节点最多有M个子节点； 每一个非叶子节点（除根节点）至少有ceil(M/2)个子节点； 如果根节点不是叶子节点，那么至少有两个子节点； 有k个子节点的非叶子节点拥有k-1个键，键按照升序排列； 所有叶子节点在同一层； 从定义可以看出来,一个M阶的B树,其叶子节点必须在同一层,每一个节点的子节点数目和键数目都是有规定的.其实不看定义,简单来说,B树是平衡的,而且非叶子节点的子节点是有限制的.最重要的一点是,B树的键是有序的,节点内部的键从左到右依次增大,而且对应的子节点的最小值和最大值在左右两个键之间,这样可以尽可能减少IO次数,提高查询效率.而B+树基本定义与B树相同,不...阅读全文
##封装 go中的封装和java的不太一样，在go里面是没有java中的class，不过可以把struct看成一个类，封装可以简单地看作对struct的封装，如下 ``` type obj1 struct { valte1 string } type obj2 struct { valte2 string } ``` ##继承 把struct看做类，struct中可以包含其他的struct，继承内部struct的方法和变量，同时可以重写，代码如下 ``` package main import "fmt" type oo struct { inner ss1 string ss2 int ss3 bool } type inn...阅读全文
ZGC简介 JDK14 2020年3月份，JDK14发布，可能我们大部分小伙伴的生产环境还停留在JDK8。目前LTS版本的JDLK主要是7，8，以及11。其他版本的支持周期都比较短，一般不建议在生产环境中使用的，不过这不影响我们了解最新的JDK的一些特性，这些可能是后面Java语言的发展方向。这次JDK14就带来了非常多的新特性，主要如下： Pattern Matching for instanceof (Preview) Packaging Tool (Incubator) NUMA-Aware Memory Allocation for G1 垃圾收集中分层，冷对象移出，需要硬件层面的支持。 JFR Event Streaming Non-Volatile Mapped Byte Buf...阅读全文
TIP 本文主要是介绍 并发编程-JUC简介 。 1. JUC 简介2. volatile 关键字3. i++ 的原子性问题3.1 CAS 算法4. 并发容器类4.1 ConcurrentHashMap4.2 CountDownLatch(闭锁)5. 创建执行线程的方式三6. 同步锁(Lock)7. ReadWriteLock(读写锁)8. 线程同步锁9. 线程池9.1 线程调度10 Fork/Join 框架参考文章 # 导读【重要】 进入Java多线程进阶篇的学习。初学者通过基础篇的学习，应该已经对多线程的初步使用有了基本概念和掌握。多线程这块知识的学习，真正的难点不在于多线程程序的逻辑有多复杂，而在于理清J.U.C包中各个多线程工具类之间的关系、特点及其使用场景（从整体到局部、高屋建瓴，...阅读全文
解决“LOAD DATA local INFILE”时出现The used command is not allowed with this MySQL version问题 09-07 阅读数 6440 “LOAD DATA local INFILE”时出现The used command is not allowed with this MySQL version问题。第一是版本确实过低，低于5.0... 博文 来自： ziyou434的博客 使用HeidiSQL连接Mysql数据库：导入本地csv文件，报错解决方法 02-16 阅读数 1241 第一次使用HeidiSQL连接MySQL,数据库连接成功后，进行csv文件的导入。本地文件存储于：尝试在heidiSQL中采用导入csv加载本地...阅读全文
简介 Mybatis Generator (MBG) 是 Mybatis 官方提供的代码生成器，通过它可以在项目中自动生成简单的 CRUD 方法，甚至“无所不能”的高级条件查询（MyBatis3DynamicSql，有了它根本不需要 Mybatis Plus），让我们避免了进行数据库交互时需要手动创建对象和配置 Mybatis 映射等基础工作。 另外，MBG 有很好地扩展性，它提供了大量的接口和插件用来给我们自定义生成的代码应该是什么样子，例如我们可以自定义注释、代码格式化、添加 toString 方法等。本文将讲解如何使用这些接口。 本文内容大致如下，由于篇幅较长，可选择阅读： 如何使用 MBG 生成代码； 详解 MBG 的配置，将配置使用自定义注释生成器、实体类中添加 toString/...阅读全文
推荐阅读时间：30min 全文字数：1w 前言 真正反序列化漏洞的利用，肯定需要了解java反射原理。因为java反序列化的payload大多与反射机制密切相关。 那么这篇文章就是主要讲述反射机制，算是基础知识。 除了反射机制之外，后续还基于commons-collections链最后的反射机制触发点，进行了详细的反射机制特性的绕过说明。由于它与反射机制密切相关，就放在这边进行统一归纳理解。 可以配合本人的另一篇文章commons-collections食用 java反射机制 在Java中的反射机制是指在运行状态中，对于任意一个类都能够知道这个类所有的属性和方法；并且对于任意一个对象，都能够调用它的任意一个方法；这种动态获取信息以及动态调用对象方法的功能成为Java语言的反射机制。 让jav...阅读全文
Full GC Full GC 就是收集整个堆，包括新生代，老年代，永久代(在JDK 1.8及以后，永久代会被移除，换为metaspace)等收集所有部分的模式 RednaxelaFX大在Major GC和Full GC的区别是什么？触发条件呢？- 知乎这个问题有关于 GC分类的回答： 针对 HotSpot VM的实现，它里面的GC其实准确分类有两种: Partial GC(局部 GC): 并不收集整个 GC 堆的模式 Young GC: 只收集young gen的GC，Young GC还有种说法就叫做 "Minor GC" Old GC: 只收集old gen的GC。只有垃圾收集器CMS的concurrent collection 是这个模式 Mixed GC: 收集整个young gen...阅读全文
进群送千G学习资料，一个开放，和谐，互帮互助，知识分享的IT技术社区。旨在为解决各种实际运用的技术问题和相关技术分享而成立的问答，知识分享社区。目前主要对标服务于Java，Golang，容器技术Docker,Kubernetes,以及机器学习相关生态 欢迎大家常驻 [http://www.itsharecircle.com](http://www.itsharecircle.com) 进群送千G学习资料 微信扫描如下二维码（或者微信搜索用户Anteoy）添加我为好友，备注Java技术圈，我拉你进群  { if(n == 0) return 1; if(n == 1) return 1; return fib(n - 2) + fib(n - 1); } ~~~ 再看看用我们基于Java修改过的新语言写出来的Fibonacci函数，这种新语言就支持模式匹配： ~~~ int fib(0) { return 1; } int fib(1) { return 1; }...阅读全文
内存屏障（Memory barrier） 为什么会有内存屏障 每个CPU都会有自己的缓存（有的甚至L1,L2,L3），缓存的目的就是为了提高性能，避免每次都要向内存取。但是这样的弊端也很明显：不能实时的和内存发生信息交换，分在不同CPU执行的不同线程对同一个变量的缓存值不同。 用volatile关键字修饰变量可以解决上述问题，那么volatile是如何做到这一点的呢？那就是内存屏障，内存屏障是硬件层的概念，不同的硬件平台实现内存屏障的手段并不是一样，java通过屏蔽这些差异，统一由jvm来生成内存屏障的指令。 内存屏障是什么 硬件层的内存屏障分为两种：Load Barrier 和 Store Barrier即读屏障和写屏障。 内存屏障有两个作用： 阻止屏障两侧的指令重排序； 强制把写缓冲区/...阅读全文
很遗憾，由于这篇文章有大量的公式，如果直接发表内容公式会显示不了，因此只能发成图片。 如果想获得更好的阅读体验，请点击：从科学记数法到浮点数标准IEEE 754 参考 https://zh.wikipedia.org/wiki/IEEE_754 https://zh.wikipedia.org/zh-hans/%E6%B5%AE%E7%82%B9%E6%95%B0 https://zh.wikipedia.org/wiki/%E7%A7%91%E5%AD%A6%E8%AE%B0%E6%95%B0%E6%B3%95 https://zh.wikipedia.org/wiki/NaN 《Java虚拟机规范（Java SE 7）》 《深入理解计算机系统》第2版 《码出高效》Java开发手册 htt...阅读全文
Kryo 序列化与反序列化一些问题 gaording的博客 03-27 1792 公司其他组有个公共的maven依赖包中的序列化与反序列化采用了kryo,所以我在新代码中也测试了下kryo，测试的时候有几个问题记录如下: 1.kryo反序列化时是通过反射默认调用类的无参构造函数，如果类或者类的对象属性没有无参构造构造函数，则会抛出反序列化失败的异常，解决方法可以写一个继承kryo类的子类，重新实现通过反射去获取实例的方法，参考博客:https://vyloy.iteye.... Redis使用kryo来进行序列化遇到的问题 qq_28600087的博客 04-09 1876 1.通过spring-data-redis集成redis，使用kryo的方式来序列化value值，kryo是一款高性能...阅读全文
作者 陈彩华 文章转载交流请联系 caison@aliyun.com 复制代码最近公司引入了代码自动检查平台，技术选型是选择SonarQube，总结如下： 1 概述 SonarQube(sonar)是一个开源平台，用于管理源代码的质量。 SonarQube不只是一个质量数据报告工具，更是代码质量管理平台。 支持java, C#, C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等等二十几种编程语言的代码质量管理与检测。 SonarQube可以从以下七个维度检测代码质量，而作为开发人员至少需要处理前5种代码质量问题。 (1) 不遵循代码标准 SonarQube可以通过PMD,CheckStyle,Findbugs等等代码规则检测工具规范代码编写。 (2) 潜在的...阅读全文
Oracle 12C RAC modifying scan configuration Oracle modify time zone In depth study on the relationship between Oracle DB server system time modification and SCN Oracle block SCN / commit SCN / cleanup SCN description The first bullet in Oracle ASM Translation Series: Basics ASM Au, extensions, mirroring and failgroups Every programmer should learn ...阅读全文
download: SpringBoot 在线协同办公小程序开发 全栈式项目实战未来，在线协同办公将成为一种常态化的工作方式。本课程将采用最流行的前后端分离架构设计，应用 SpringBoot+uniapp 技术栈开发一款在线协同办公的小程序。让你掌握未来趋势型业务 + 前后端综合技术栈，带你实现全技术栈的综合提升。技术要求1.HTML / CSS 基础 2.JS 交互知识 3.基本的 Vue 知识 4.JavaWeb 相关知识环境参数SpringBoot 2.3、uni-app2.9 开发工具：IDEA、HBuilderX什么是Spring BootSpring Boot 是由 Pivotal 团队供应的全新结构，其规划意图是用来简化新 Spring 运用的初始树立以及开发进程。该结构运用...阅读全文
现象线上机器内存不足，经常被系统oom killer干掉。 如果tomcat运行的好好的，突然被干掉了，没有任何线索，那么就可以使用下面的命令看看是不是oom killer搞的鬼 1234sudo dmesg | grep -i kill | lessOut of memory: Kill process 23195 (java) score 558 or sacrifice childKilled process 23195, UID 40001, (java) total-vm:81176732kB, anon-rss:64507900kB, file-rss:2604kB 其中anon-rss是程序占用的物理内存， 64507900kB = 61.519527435302734 GB系...阅读全文
现在Java开发基本上就是IDE调试，如果跨平台打个jar包过去运行一般就可以了，但是有些情况比如需要引入外部依赖的时候，这个时候是不能直接运行的，还需要引入一些外部的参数，并不是简单的javac和java的关系了，下面来详细说一下 一般情况下，在本地都是使用eclipse开发工具进行开发，很多东西基本上就不用我们考虑了，如果我们要将项目放到Linux下运行的话，那么就需要进行转移的操作，当然有Maven、Ant这样的自动化部署工具，简直是太方便了，为了做到更进一步认识的话，我们纯手动的去打包一个java的项目 首先，项目名称为JarTest，在eclipse结构如下图所示： 包名和类名都看的非常清楚了，App是主类，包含有main方法；TestBean是一个JavaBean实体；TestS...阅读全文
本文采用的JDK版本： java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode) 复制代码一、GC 日志参数 设置JVM GC格式日志的主要参数包括如下8个： -XX:+PrintGC 输出简要GC日志 -XX:+PrintGCDetails 输出详细GC日志 -Xloggc:gc.log 输出GC日志到文件 -XX:+PrintGCTimeStamps 输出GC的时间戳（以JVM启动到当期的总时长的时间戳形式） -XX:+PrintGCDateStamps 输出G...阅读全文
DataFrame和Dataset*DataFrame产生背景*DataFrame简述*DataFrame对比RDD*DataFrame基本API常用操作*DataFrame与RDD互操作*DataFrame API操作案例*Dataset简述No.1 DataFrame产生背景首先我们看一些图这些图是Google trends上面的趋势图，我们看到dataframe的搜索量是逐年增长，并且增长速度不慢，可以说还挺快的。以中国搜索最多，当然这或许和中国人口有关系，anyhow，dataframe正处于用户量快速增长，关注度不断提升的状态。就是说很火啊！这也是了解和学习它的一个重要原因！Dataframe不是spark sql提出的，而是早期在R、pandas就已经有了的。1、Spark RD...阅读全文
昇腾众智计划火热上线！140个算子/模型等你来挑战！>>> 最近线上一个服务又出现了频繁Full GC的情况，导致提供的业务经常超时。问题出现非常不稳定，经过两周的时候，终于又捕捉到了一次Full GC，于是联系运维做Heap Dump之后，经过一系列分析，终于解决问题。这次的问题稍微复杂一点，但是也比较有代表性，用到了VisualVM和MAT两个工具，继续记录如下。 现象 这次使用公司的CAT监控平台看到的内存表现如下： 可以看到，具体表现是： 在很长一段时间内(数个小时)，New GC比较频繁，Full GC较少(一小时个位数)。 过了某一时间点后，Full GC增加，New GC则减少。 将服务切换下线后，Memory Free逐渐回升，Full GC减少。 然后观察某一时刻的JMAP...阅读全文
在 JAVA 语言中有8中基本类型和一种比较特殊的类型String。这些类型为了使他们在运行过程中速度更快，更节省内存，都提供了一种常量池的概念。常量池就类似一个JAVA系统级别提供的缓存。8种基本类型的常量池都是系统协调的，String类型的常量池比较特殊。它的主要使用方法有两种：直接使用双引号声明出来的String对象会直接存储在常量池中。如果不是用双引号声明的String对象，可以使用String提供的intern方法。intern 方法会从字符串常量池中查询当前字符串是否存在，若不存在就会将当前字符串放入常量池中接下来我们主要来谈一下String#intern方法。首先深入看一下它的实现原理。1，JAVA 代码/** * Returns a canonical representat...阅读全文
Java 并发包下的提供Lock，Lock相对于Synchronized可以更好的解决线程同步问题，更加的灵活和高效，并且ReadWriteLock锁还能实现读、写的分离。但线程间仅仅互斥是不够的，还需要通信，本篇的内容是基于上篇之上，使用Lock如何处理线程通信。阻塞队列(BlockingQueue)就是使用condition的和lock实现的。可以查看：Java并发编程-阻塞队列(BlockingQueue)的实现原理 Condition 那么引入本篇的主角，Condition，Condition 将 Object的通信方法（wait、notify 和 notifyAll）分解成截然不同的对象，以便通过将这些对象与任意 Lock 实现组合使用，为每个对象提供多个等待 set （wait-...阅读全文
G1垃圾回收器详解在前一篇的文章《HotSpot垃圾回收算法概述》里面，对于Serial, Parallel和CMS几种垃圾回收器做了比较详细的描述。但是对于G1的叙述是比较粗糙的。这篇文章则是提供了G1垃圾回收器的详细分析。 概述 G1垃圾回收器是在Java7 update 4之后引入的一个新的垃圾回收器。G1是一个分代的，增量的，并行与并发的标记-复制垃圾回收器。它的设计目标是为了适应现在不断扩大的内存和不断增加的处理器数量，进一步降低暂停时间（pause time），同时兼顾良好的吞吐量。G1回收器和CMS比起来，有以下不同： G1垃圾回收器是compacting的，因此其回收得到的空间是连续的。这避免了CMS回收器因为不连续空间所造成的问题。如需要更大的堆空间，更多的floating...阅读全文
I've a small Spring project, that I've booted up with roo 1.2.2 I can run the main class just fine within Eclipse Juno. However when I try to run the JAR file built with mvn package, I get the following error: Exception in thread "main" org.springframework.beans.factory.parsing.BeanDefinitionParsingException: Configuration problem: Unable to locate...阅读全文
文地址: https://blog.csdn.net/pq258280920/article/details/25877265 阅读全文
HTTPS双向认证指南作者：黄湘龙 研究HTTPS的双向认证实现与原理，踩了不少坑，终于整个流程都跑通了，现在总结出一篇文档来，把一些心得，特别是容易踩坑的地方记录下来。 1.原理 双向认证，顾名思义，客户端和服务器端都需要验证对方的身份，在建立Https连接的过程中，握手的流程比单向认证多了几步。单向认证的过程，客户端从服务器端下载服务器端公钥证书进行验证，然后建立安全通信通道。双向通信流程，客户端除了需要从服务器端下载服务器的公钥证书进行验证外，还需要把客户端的公钥证书上传到服务器端给服务器端进行验证，等双方都认证通过了，才开始建立安全通信通道进行数据传输。 1.1 单向认证流程 单向认证流程中，服务器端保存着公钥证书和私钥两个文件，整个握手过程如下： 单向认证流程 客户端发起建立HTT...阅读全文
你的位置：业余草 > JAVA > 定时器 OOM(OutOfMemoryError) 了，其他线程受影响吗？ 定时器 OOM(OutOfMemoryError) 了，其他线程受影响吗？ JAVA herman 3年前 (2018-09-22) 3347浏览 0评论 公告：“业余草”微信公众号提供免费CSDN下载服务(只下Java资源)，关注业余草微信公众号，添加作者微信：codedq，发送下载链接帮助你免费下载！ 本博客日IP超过2000，PV 3000 左右，急需赞助商。 极客时间所有课程通过我的二维码购买后返现24元微信红包，请加博主新的微信号：codedq，之前的微信号好友位已满，备注：返现 受密码保护的文章请关注“业余草”公众号，回复关键字“0”获得密码 所有面试题(java、前端...阅读全文
引子最近遇到很多朋友过来咨询G1调优的问题，我自己去年有专门学过一次G1，但是当时只是看了个皮毛，因此自己也有不少问题。总体来讲，对于G1我有几个疑惑，希望能够在这篇文章中得到解决。 G1出现的初衷是什么？ G1适合在什么场景下使用？ G1的trade-off是什么？ G1的详细过程？ 如何理解G1的gc日志? G1的调优思路？ G1和CMS的对比和选择？ 一、基础知识1. 初衷在G1提出之前，经典的垃圾收集器主要有三种类型：串行收集器、并行收集器和并发标记清除收集器，这三种收集器分别可以是满足Java应用三种不同的需求：内存占用及并发开销最小化、应用吞吐量最大化和应用GC暂停时间最小化，但是，上述三种垃圾收集器都有几个共同的问题：（1）所有针对老年代的操作必须扫描整个老年代空间；（2）年轻...阅读全文
引子记得那是一个风和日丽的周末，太阳红彤彤，花儿五颜六色，96 年的普哥微信找到我，描述了一个诡异的线上问题：线上程序使用了 NIO FileChannel 的 堆内内存（HeapByteBuffer）作为缓冲区，读写文件，逻辑可以说相当简单，但根据监控，却发现堆外内存（DirectByteBuffer）飙升，导致了 OutOfMemeory 的异常。 由这个线上问题，引出了这篇文章的主题，主要包括：FileChannel 源码分析，堆外内存监控，堆外内存回收。 问题分析 & 源码分析根据异常日志的定位，发现的确使用的是 HeapByteBuffer 来进行读写，但却导致堆外内存飙升，随即翻了 FileChannel 的源码，来一探究竟。 FileChannel 使用的是 IOUtil 进行...阅读全文
在《操作系统同步原语》 这篇文章中，介绍了操作系统在面对 进程/线程 间同步的时候，所支持的一些同步原语，其中 semaphore 信号量 和 mutex 互斥量是最重要的同步原语。 在使用基本的 mutex 进行并发控制时，需要程序员非常小心地控制 mutex 的 down 和 up 操作，否则很容易引起死锁等问题。为了更容易地编写出正确的并发程序，所以在 mutex 和 semaphore 的基础上，提出了更高层次的同步原语 monitor，管程就可以对开发者屏蔽掉这些手动细节，在语言内部实现，更加简单易用。 不过需要注意的是，操作系统本身并不支持 monitor 机制，实际上，monitor 是属于编程语言的范畴，当你想要使用 monitor 时，先了解一下语言本身是否支持 monit...阅读全文
因为当时 Java 选择的是 UCS-2，是一个定长的编码，在当时以单个码元能表示所有字符，以下标获取字符的开销基本等同于在数组中索引一个字符，用起来是最方便的，多占用的内存大小也是可以接受的。到了后来 UCS-2 无法表示所有 Unicode 字符的时候，过渡到了兼容它的 UTF-16 上也是最自然以及迁移成本最低的选择，这很好理解。至于 UTF-16 浪费内存的问题，在 JEP 254 Compact Strings 中优化了这个问题，Java 9 已经实现了这个 JEP。翻翻源码就能看到，现在 String 内部是存储了一个 byte[]，以及对应的编码标记，而不再是 char[] ：public final class String { ... private final byte[...阅读全文
前言 今天小伙伴遇到个小问题，线程池提交的任务如果没有catch异常，那么会抛到哪里去，之前倒是没研究过，本着实事求是的原则，看了一下代码。 正文 小问题 考虑下面这段代码，有什么区别呢？你可以猜猜会不会有异常打出呢？如果打出来的话是在哪里？: ExecutorService threadPool = Executors.newFixedThreadPool(1); threadPool.submit(() -> { Object obj = null; System.out.println(obj.toString()); }); threadPool.execute(() -> { Object obj = null; System.out.println(obj.toString())...阅读全文
spark-udf虽然spark.sql.function中的已经包含了大多数常用的函数，但是总有一些场景是内置函数无法满足要求的，此时就需要使用自定义函数了(UDF)。刚好最近用spark时，scala,java,python轮换着用，因此这里总结一下spark中自定义函数的简单用法。这里总结了scala,java,python 三种接口的DataFrame和sparkSQL的自定义函数定义和使用方法，对于比较复杂的分组自定义函数未涉及，对于这类复杂需求，应该有变通之法吧。1、pyspark接口的UDF1.1、在dataframe中使用# 定义自定义函数 import numpy as np def log_py(num): return float(np.log(num)) # 注册自定...阅读全文
彤哥读源码 · 2019年10月06日 死磕 java同步系列之JMM（Java Memory Model） Java （手机横屏看源码更方便）简介Java内存模型是在硬件内存模型上的更高层的抽象，它屏蔽了各种硬件和操作系统访问的差异性，保证了Java程序在各种平台下对内存的访问都能达到一致的效果。硬件内存模型在正式讲解Java的内存模型之前，我们有必要先了解一下硬件层面的一些东西。在现代计算机的硬件体系中，CPU的运算速度是非常快的，远远高于它从存储介质读取数据的速度，这里的存储介质有很多，比如磁盘、光盘、网卡、内存等，这些存储介质有一个很明显的特点——距离CPU越近的存储介质往往越小越贵越快，距离CPU越远的存储介质往往越大越便宜越慢。所以，在程序运行的过程中，CPU大部分时间都浪费在了...阅读全文
这个问题是在maven打包之后由于重复引用某些依赖导致生成了一些.SF等文件，运行jar时会抛出。 在遇到这个问题时，一时不知道是什么原因，上网查了很多解决方法，有的回答是： 原因：在META-INF下会有多余的以SF结尾的文件,删除后不会出现次问题 找到原因是因为引入的log4j版本有问题,当引入如下版本：
报错信息如下： Cause: com.mysql.jdbc.exceptions.jdbc4.CommunicationsException: Communications link failure The last packet successfully received from the server was 97,130 milliseconds ago. The last packet sent successfully to the server was 24 milliseconds ago. ; SQL []; Communications link failure .... Caused by: com.mysql.jdbc.exceptions.jdbc4.Communic...阅读全文
Java并发编程：volatile关键字解析 volatile这个关键字可能很多朋友都听说过，或许也都用过。在Java 5之前，它是一个备受争议的关键字，因为在程序中使用它往往会导致出人意料的结果。在Java 5之后，volatile关键字才得以重获生机。 volatile关键字虽然从字面上理解起来比较简单，但是要用好不是一件容易的事情。由于volatile关键字是与Java的内存模型有关的，因此在讲述volatile关键之前，我们先来了解一下与内存模型相关的概念和知识，然后分析了volatile关键字的实现原理，最后给出了几个使用volatile关键字的场景。 以下是本文的目录大纲： 一.内存模型的相关概念 二.并发编程中的三个概念 三.Java内存模型 四..深入剖析volatile关键...阅读全文
本篇博客要点如下: 浮点运算常见的一些精度问题 浮点运算精度问题产生的原因 浮点运算精度问题的几点疑问进制的相互转换 十进制和二进制整数转换十进制和二进制小数转换 浮点数据的存储 IEEE 754标准浮点数表示举例误差分析 浮点精度丢失问题的几种解决方案 转换成整型进行计算使用四舍五入计算使用Decimal函数计算 参考资料 浮点运算常见的一些精度问题 相信各位在进行浮点型数据运算的时候,出现过一些不符合常规认知,或者是我们不愿出现的结果, 比如下面这些示例(以MongoDB,Java,Python为例): mongoDB中对某种类型的交易金额聚合求和的时候: db.FACT_TRADE_POSP.aggregate([ {$match:{'AC_DT':'20200306','ETL_SO...阅读全文
一、不可变对象 1.1 什么是不可变对象 immutable Objects就是那些一旦被创建，它们的状态就不能被改变的Objects，每次对他们的改变都是产生了新的immutable的对象，而mutable Objects就是那些创建后，状态可以被改变的Objects。 不可变的优势： （1）提高效率。如果你知道一个对象是不可变的，那么需要拷贝这个对象的内容时，就不用复制它的本身而只是复制它的地址。复制地址需要很小的内存，效率也很高；对于同时引用这个“ABC”的其他变量也不会造成影响。 （2）安全也简化了程序的开发。在多线程应用中可以不使用锁机制就能被其他线程共享。 1.2 String类为什么是不可变的 字符串常量池(String pool, String intern pool, St...阅读全文
1. 对象属性拷贝的常见方式及其性能 在日常编码中，经常会遇到DO、DTO对象之间的转换，如果对象本身的属性比较少的时候，那么我们采用硬编码手工setter也还ok，但如果对象的属性比较多的情况下，手工setter就显得又low又效率又低。这个时候我们就考虑采用一些工具类来进行对象属性的拷贝了。 我们常用的对象属性拷贝的方式有： Hard Code net.sf.cglib.beans.BeanCopier#copy org.springframework.beans.BeanUtils.copyProperties org.apache.commons.beanutils.PropertyUtils.copyProperties org.apache.commons.beanutils.B...阅读全文
登录注册写文章首页下载APP抽奖JAVA并发（2）—PV机制与monitor（管程）机制小胖学编程关注赞赏支持JAVA并发（2）—PV机制与monitor（管程）机制在操作系统中，进程之间经常有互斥和协作两种关系，为了有效处理这两种情况，W.Dijkstra在1965年提出了信号量（semaphore 塞吗佛）和PV操作。 1. 信号量与PV机制 信号量是一种抽象的数据类型，由一个整型S变量和P原语、V原语组成（原语：即不可中断的过程）。并且这个整型变量只能由PV改变。 P(S)意味着S-1，若S-1<0，说明资源不够用，将进程加入到等待队列中； V(S)意味着S+1，若S+1<=0，说明等待队列中存在进程，那么唤醒一个等待进程； 信号是操作系统提供的一种协调共享资源访问的方法。信号量由操作...阅读全文
[转][笔记] 1. Tomcat系列之Java技术详解转自陈明乾的博客，可能有一定更新。 转原文声明：原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、...C86guli阅读 3,851评论 6赞 7...阅读全文
datetime： 1、保存格式为YYYYMMDDHHMMSS（年月日时分秒）的整数，所以，它与时区无关，存入的是什么值就是什么值，不会根据当前时区进行转换。 2、从mysql 5.6.4中，可以存储小数片段，最多到小数点后6位，显示时格式为 yyyy-MM-dd HH:mm:ss[.222222] mysql5.5中，没有小数片段，精确到秒。所以，我再从5.6版本迁移到5.5时，因生成的sql中datetime(6)有小数片段,无法导入。 3、存储范围：从1000-01-01 00:00:00 到'9999-12-31 23:59:59' 4、长度，8个字节，datetime(n),n不是存储长度，而是显示的小数位数，即使小数位数是0，存储是也是存储的6位小数，仅仅显示0位而已;要想显示小...阅读全文
