[置顶]我理解的Linux IO模式及select,poll,epoll

前言 本文是在本人查阅部分资料,并综合了众多博客分析后,于此阐述的个人理解。若有错误,欢迎指正。 基本概念 用户空间和内核空间 操作系统核心-内核负责处理用户程序和硬件之间的驱动交互。内核是在用户程序(进程)和硬件之间一个中枢。目地:专门负责用户进程和硬件之间的交互,用户程序必须使用内核才能和计算机底层硬件进行交流。为了保证内核的安全,于是将内存划分开,比如针对linux 4G的内存空间,将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF),供内核使用,称为内核空间,而将较低...阅读全文

www.allocmem.com 2018-04-21 13:30 www.allocmem.co 等

[置顶]nginx搭配frp进行端口和服务转发

###引言:   java接入三方运营商服务接口,需要可供回调的公网接口,并在本地两台(及以上)调试接口服务,于是使用开源frp进行穿透,nginx搭配负责分发请求到不同机器。 ###安装环境: 1. ubuntu 16.04 LTS 一台服务器 两台客户机 2. 已安装好nginx ###frp配置过程: 参考我之前博文[http://blog.csdn.net/yan_chou/article/details/53406095](http://blog.csdn.net/yan_chou/a...阅读全文

www.allocmem.com 2017-02-20 16:06 www.allocmem.co 等

关于 Elasticsearch 段合并,这一篇说透了!

0、事出有因 您好,目前我需要将只读索引segment合并,有几个问题想要求教1、 segment是不是合并到一个最好,及max_num_segments=12、合并的时候,通过POST /my_index/_forcemerge?max_num_segments=1会不会吃光所有的机器资源,造成服务暂时不可用(optimize?max_num_segments=1就会吃光所有资源),但是我没有从官方文档找到_forcemerger 这种方式的资源消耗。3、在es 6.7及以上中index.me...阅读全文

墨天轮 2021-03-22 00:00 墨天轮

ElasticSearch备份快照到HDFS

> 编程乐园 > 编程内功 > 架构&设计模式 > ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) 架构&设计模式 water 5年前 (2017-03-29) 3348℃ 0评论 repository-hdfs安装包的下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsea...阅读全文

2.6(CDH5.6.0) – 学时网 2017-03-29 00:00 2.6(CDH5.6.0) – 等

使用 Delete By Query API 的方式删除ES索引中的数据 - 腾讯云开发者社区

一、前言| ES作为现今最流行的搜索存储库,我们需要定期去清理ES集群的数据以保证集群处在一个最佳负载状态,那么如何去删除这些数据呢,我们今天来介绍一种比较常见的通过Delete By Query的方式去删除索引中的数据。二、Delete By Query API 介绍 怎么理解这个API呢?实际是批量删除数据的意思 功能:根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。POST index_name/_delete_by_query { "query": { //这些是自定义查询...阅读全文

Flink 中 slot ,task,并行度的详解及其高频面试题

点击上方蓝字关注一下吧    看完记得点个关注呦~,了解更多职场及大数据,人工智能,java等技术文章。    在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗?Flink的并行度设置是怎样的?2.任务并行度与slot之间的关系?3.Flink并行度设置优先级?4.并行的任务,需要占用多少slot?5. slot并行的条件?6. taskmanager与slot之间的关系?7.什么是slot共享,slot共享的好处?...阅读全文

墨天轮 2022-03-29 00:00 墨天轮

Flink的Task与SubTask理解_黄土高坡上的独孤前辈的博客

文章目录 官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.ht...阅读全文

CSDN博客_flink subtask 2020-12-09 23:18 CSDN博客_flink su 等

Flink task和subTask_大数据私房菜的博客

Flink-Task、SubTask、并行度 ldc2013的博客 08-01 292 Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系: 算子=Task 并行度=SubTask task是抽象概念,subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度(subtask),肯定在不同的slot,但也可能在不同的taskmanager 一个流程序的并行度,可以认为就是其所有算子中...阅读全文

CSDN博客_flink subtask 2020-05-31 07:36 CSDN博客_flink su 等

hive中的lateral view 与 explode函数的使用_guodong2k的博客

explode与lateral view在关系型数据库中本身是不该出现的,因为他的出现本身就是在操作不满足第一范式的数据(每个属性都不可再分), 本身已经违背了数据库的设计原理(不论是业务系统还是数据仓库系统),不过大数据技术普及后,很多类似pv,uv的数据,在业务系统中是存贮在非关系型数据库中, 用json存储的概率比较大,直接导入hive为基础的数仓系统中,就需要经过ETL过程解析这类数据,explode与lateral view在这种场景下大显身手。 explode作用是处理map结构的字...阅读全文

CSDN博客_hive lateral 2018-03-06 16:18 CSDN博客_hive lat 等

某课网体系课-Java工程师2022版网盘下载

download:百度网盘2022全新升级,综合就业率常年第一,王牌编程语言0基础入门,高效掌握Java工程师所需能力,冲击大厂高薪一课学懂学透,给你更高的就业起点,更好的就业终点内容过“硬”紧跟市场用人标准聚焦主流技术企业级开发能力每年升级完善讲师过“硬”只要大厂经历讲师2年+开发经验助教“大师”带“小白”你的起点就是“BAT”就业只是起点,我们的目标是高薪就业,稳定就业,更为你长久的职业生涯赋能一套经过时间的考验、无数学生的验证,不断打磨升级的精品课程阅读全文

java技术圈 2022-08-02 03:14:59 love

在Java中谈尾递归--尾递归和垃圾回收的比较 - 赛艇队长

我不是故意在JAVA中谈尾递归的,因为在JAVA中谈尾递归真的是要绕好几个弯,只是我确实只有JAVA学得比较好,虽然确实C是在学校学过还考了90+,真学得没自学的JAVA好 不过也是因为要绕几个弯,所以才会有有意思的东西可写,另外还有我发现把尾递归如果跟JAVA中的GC比对一下,也颇有一些妙处(发现还没有人特地比较过) (不过后来边写边整理思路,写出来又是另一个样子了)   转载请注明:博客园-阁刚广志,地址:http://www.cnblogs.com/bellkosmos/p/5280619...阅读全文

博客园 2016-03-15 18:32 博客园

Spring Boot 你不得不会的 spring.factories 配置

在 Spring Boot 项目中,怎样将 pom.xml 文件里面添加的依赖中的 bean 注册到 Spring Boot 项目的 Spring 容器中呢?你可能会首先想到使用 @ComponentScan 注解,遗憾的是 @ComponentScan 注解只能扫描 Spring Boot 项目包内的 bean 并注册到 Spring 容器中,项目依赖包中的 bean 不会被扫描和注册。此时,我们需要使用 @EnableAutoConfiguration 注解来注册项目依赖包中的 bean。而...阅读全文

人人编程网 2021-04-02 00:00 人人编程网

Flink

TIP 本文主要是介绍 Flink-SpringBoot结合案例 。 Spring Boot整合Flink【----------------------------】Flink与Spring Boot的集成Spring容器的集成点依赖jar包注意点maven打包注意点注意包冲突目前方案的缺陷与解决思路参考文章 # Spring Boot整合Flink 使用spring boot整合flink可以快速的构建起整个应用,将关注点重点放在业务逻辑的实现上。在整合的过程中遇到许多问题,最大的问题是fli...阅读全文

SpringBoot结合案例 | 智能后端和架构 2021-09-19 16:59 SpringBoot结合案例 等

Maven学习(六) - 插件maven-shade-plugin - 青离的个人空间 - OSCHINA

网上有一些maven-shade-plugin替代maven-assembly-plugin的文章,原因是代maven-assembly-plugin打出的jar包中要么是不能设置Main-Class,要么spring的META-INF/spring.*文件相互覆盖了。对于这两个问题,maven-assembly-plugin在当前的版本(3.1.0)中都可以解决了(方法见https://my.oschina.net/u/2377110/blog/1584205)。 实际上这两个插件所针对的用途...阅读全文

中文开源技术交流社区 2017-12-06 11:54 中文开源技术交流社区

Maven打包之maven-shade-plugin - 腾讯云开发者社区

<build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>3.1.1</version> <configuration> <!-- put your configurations here --> <!--只包含该项目代码中用到的jar,在父项目中引入了,但在当前模块中没有用到就会被删掉--> <minimi...阅读全文

腾讯云 2020-04-28 18:23 腾讯云

正则表达式中?=和?:和?!的理解_这个昵称没有被占用吧的博客

正则表达式 ?: 的理解 swinm的博客 07-24 563 ?: 是 不想被捕获的时候使用 比如 ([a-z][0-9])+ 这个正则表达式里 ( ) 里面的内容被捕获了, 反向引用的时候可以用上 。 一般正则替换的时候用的多 像UBB代码 但是 如果写成 (?:[a-z][0-9])+ 跟上面 正则表达式 整体匹配是一样的 就是 不会捕获 ( )里内容了。 也就是不能使用 反向引用 比如 PHP 手册里 有个 正则替换的函数 preg_replace 有的列子 $string = 'Apr...阅读全文

CSDN博客_正则表达式?! 2018-07-25 18:01 CSDN博客_正则表达式?!

大数据开发之Hive篇12-Hive正则表达式

备注: Hive 版本 2.1.1 Table of Contents一.Hive 正则表达式概述1.1 字符集合:1.2 边界集合:1.3 重复次数集合:1.4 组合操作符:1.5 匹配操作符:1.6 转义操作符:二.Hive 正则表达式案例2.1 regexp2.2 regexp_replace2.2.1 截取字符串中汉字部分2.2.2 截取字符串中数字部分2.2.3 截取字符串中字母部分2.2.4 截取字符串中的大小写字母和数字2.3 regexp_extract参考: 一.Hive 正则...阅读全文

墨天轮 2021-01-05 00:00 墨天轮

正则表达式(括号)、[中括号]、{大括号}的区别小结_Kou_Hi的博客

正则表达式的() [] {}有不同的意思。 () 是为了提取匹配的字符串。表达式中有几个()就有几个相应的匹配字符串。 (\s*)表示连续空格的字符串。 []是定义匹配的字符范围。比如 [a-zA-Z0-9] 表示相应位置的字符要匹配英文字符和数字。[\s*]表示空格或者*号。 {}一般用来表示匹配的长度,比如 \s{3} 表示匹配三个空格,\s{1,3}表示匹配一到三个空格。 (0-9) 匹配 '0-9′ 本身。 [0-9]* 匹配数字(注意后面有 *,可以为空)[0-9]+ 匹配数字(注意后...阅读全文

CSDN博客_正则括号 2016-03-30 21:11 CSDN博客_正则括号

大数据开发之Hive篇19-Hive分区表详解

备注: Hive 版本 2.1.1 Table of Contents一.Hive分区表概述二.静态分区2.1 单分区测试2.2 多分区测试三.动态分区3.1 动态分区测试3.2 动态分区和静态分区混合使用四.分区的其它操作4.1 恢复分区4.2 归档分区4.3 交换分区参考 一.Hive分区表概述 数据分区的概念以及存在很久了,通常使用分区来水平分散压力,将数据从物理上移到和使用最频繁的用户更近的地方,以及实现其目的。 hive中有分区表的概念,我们可以看到分区具重要性能优势,而且分区表还可以...阅读全文

墨天轮 2021-01-15 00:00 墨天轮