[置顶]我理解的Linux IO模式及select,poll,epoll

前言 本文是在本人查阅部分资料,并综合了众多博客分析后,于此阐述的个人理解。若有错误,欢迎指正。 基本概念 用户空间和内核空间 操作系统核心-内核负责处理用户程序和硬件之间的驱动交互。内核是在用户程序(进程)和硬件之间一个中枢。目地:专门负责用户进程和硬件之间的交互,用户程序必须使用内核才能和计算机底层硬件进行交流。为了保证内核的安全,于是将内存划分开,比如针对linux 4G的内存空间,将最高的1G字节(从虚拟地址0xC0000000到0xFFFFFFFF),供内核使用,称为内核空间,而将较低...阅读全文

www.allocmem.com 2018-04-21 13:30 www.allocmem.co 等

[置顶]nginx搭配frp进行端口和服务转发

###引言:   java接入三方运营商服务接口,需要可供回调的公网接口,并在本地两台(及以上)调试接口服务,于是使用开源frp进行穿透,nginx搭配负责分发请求到不同机器。 ###安装环境: 1. ubuntu 16.04 LTS 一台服务器 两台客户机 2. 已安装好nginx ###frp配置过程: 参考我之前博文[http://blog.csdn.net/yan_chou/article/details/53406095](http://blog.csdn.net/yan_chou/a...阅读全文

www.allocmem.com 2017-02-20 16:06 www.allocmem.co 等

CSP和Actor两种并发模型分析 - _Eternity味道

背景 在多核CPU机器下,为了充分利用多核计算机的资源,我们需要进行并发编程,提高对CPU的利用率, # 提示:如你已了解或无意了解并行和并发,可以跳过本段,直达标题 ”传统并发和基于消息传递的并发“ 并行(parallel): 物理上同一时间处理不同任务 并发(concurrent): 逻辑上处理同时的任务的能力 通常所说的并发编程,也就是说它允许多个任务同时执行,但实际上并不一定在同一时刻被执行。 在单核处理器上,通过多线程共享CPU时间片串行执行(并发非并行)。 而并行则依赖于多核处理器等...阅读全文

博客园 2022-07-07 17:34 博客园

Seata 分布式事务 XA 与 AT 全面解析

Seata 分布式事务 XA 与 AT 全面解析 2021-04-23 FUNKYE Seata Seata 目录 1.XA模式是什么? 1.1什么是XA 1.2什么是Seata的事务模式? 2那么什么是Seata XA 模式? 2.1什么是Seata AT(TXC) 模式? 2.2AT 模式如何做到对业务的无侵入 ? AT模式一阶段 2.3 AT 模式如何保证隔离性 AT 模式二阶段提交 AT 模式二阶段回滚 3.为什么支持XA? 4.为什么Seata要支持XA模式? AT与XA的关系 Sea...阅读全文

objcoding.com 2021-04-23 00:00 objcoding.com

SSL/TLS协议运行机制的概述

west 说: 好文。全面而易懂 2014年2月 5日 20:09 | # | 引用 李狗蛋 说: 坏蛋总不放过任何一丝做恶的机会,太多不要脸的运营商在链路劫持强插广告,直接修改用户的HTTP数据包,再就是NSA之流肆无忌惮的窃听 发现一个HTTPS有意思的地方,只要53端口数据被转发,不管域名对应的DNS解析IP是不是域名真实IP,只要最后都是53端口转发到真实IP之上,就不会弹HTTPS证书错误 比如 https://a.com 对应 ipa 不通 那么劫持DNS解析 https://a.c...阅读全文

阮一峰的网络日志 2022-06-29 00:00 阮一峰的网络日志

虚拟IP技术 ip地址漂移技术 - myseries

1.虚拟IP   在 TCP/IP 的架构下,所有想上网的电脑,不论是用何种方式连上网路,都必须要有一个唯一的 IP-address。事实上IP地址是主机硬件地址的一种抽象,简单的说,MAC地址是物理地址,IP地址是逻辑地址。   虚拟IP,就是一个未分配给真实主机的IP,也就是说对外提供服务器的主机除了有一个真实IP外还有一个虚IP,使用这两个IP中的任意一个都可以连接到这台主机。   虚拟IP一般用作达到HA(High Availability)的目的,比如让所有项目中数据库链接一项配置的都...阅读全文

Linux系统top命令中的iowait究竟是什么意思?

最近在做连续数据流的缓冲系统,C语言代码实现后,粗略测试了下,功能上应该没有问题。那么,接下来就该测试性能了。输入 top 命令,的确可以看到一系列 cpu 使用率,其中一个值得注意的子项就是 io 使用率了,如下图: 上图中 io 前面的数字是什么意思呢?是指 CPU 有 63% 的时间花费在 io 上了吗?在 Linux 中输入 man 命令查看相关手册,发现 io(wait) 被解释为“等待 I/O 完成的时间”。 如果按照手册对 iowait 字面上的解释,是很容易陷入误区的。因为就上例...阅读全文

刘冲的博客 2019-08-08 21:08 刘冲的博客

再聊 TCP backlog

这篇文章我们以 backlog 参数来深入研究一下建连的过程。通过阅读这篇文章,你会了解到下面这些知识: backlog、半连接队列、全连接队列是什么 linux 内核是如何计算半连接队列、全连接队列的 为什么只修改系统的 somaxconn 和 tcp_max_syn_backlog 对最终的队列大小不起作用 如何使用 systemtap 探针获取当前系统的半连接、全连接队列信息 iprouter 库中的 ss 工具的原理是什么 如何快速模拟半连接队列溢出,全连接队列溢出 注:本文中的代码和测...阅读全文

HeapDump性能社区 2022-11-02 17:14 HeapDump性能社区

Redis事务及CAS(Check-And

Redis事务在web/activity中见过事务机制保证发券环节对券码存量校验,这是典型的并发、读写操作的实例。 Redis的事务机制Transaction通过四个命令来完成:MULTI, EXEC, DISCARD and WATCH,建议精读链接文章对Redis事务机制有详细介绍。 Redis事务机制特性 事务(transaction)的定义从multi开始,到exec结束。 同一个事务内的多个命令,具有原子性,不会被打断 It can never happen that a reques...阅读全文

Set)机制 | 小武的博客 2017-05-24 00:00 Set)机制 | 小武的博客

Nginx https证书生成 - Leo_dreasky

1.创建服务器证书密钥文件 server.key: openssl genrsa -des3 -out server.key 2048 输入密码,确认密码,自己随便定义,但是要记住,后面会用到。 2.创建服务器证书的申请文件 server.csr openssl req -new -key server.key -out server.csr 输出内容为: Enter pass phrase for root.key: ← 输入前面创建的密码 Country Name (2 letter cod...阅读全文

博客园 2020-08-13 16:36 博客园

flink taskmanager&slots&并行度&任务链&task分配详解 - 民宿

TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程,它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task,worker通过task slot来进行控制(一个worker至少有一个task slot)。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot,那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个s...阅读全文

博客园 2021-07-22 14:49 博客园

ElasticSearch学习笔记之九 复杂数据类型和嵌套对象_灵动的艺术的博客

ElasticSearch学习笔记之九 复杂数据类型和嵌套对象 复杂数据类型空域数组域多层级对象内部对象的映射内部对象的索引内部对象数组 嵌套对象嵌套对象映射 复杂数据类型 除了前面说到的简单数据类型,Elasticsearch还支持JSON 的null ,数组,和对象. 空域 字段取值可以为空,当然,数组也可以为空。 然而,在 Lucene 中是不能存储 null 值的,所以我们认为存在 null 值的域为空域。 下面三种域被认为是空的,它们将不会被索引: "null_value": null...阅读全文

CSDN博客 2018-10-19 14:20 CSDN博客

elasticsearch - ES系列之原来查看文档数量有这么多姿势_个人文章

ES系列之原来查看文档数量有这么多姿势犀牛饲养员发布于 2020-04-03 1、引言 有人可能觉得,查看文档数量不是很简单吗?直接 GET /_cat/count/index_name?v 不就可以了吗。 事实上远不止这么简单,比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。 2、正文 cat/count 首先是最常用的的方式,也是一种快速查询文档的优先推荐方式,cat count api我们使用kibana自带的电商索引来实验。 GET _cat/count...阅读全文

SegmentFault 思否 2020-04-03 00:00 SegmentFault 思否 等

关于 Elasticsearch 段合并,这一篇说透了!

0、事出有因 您好,目前我需要将只读索引segment合并,有几个问题想要求教1、 segment是不是合并到一个最好,及max_num_segments=12、合并的时候,通过POST /my_index/_forcemerge?max_num_segments=1会不会吃光所有的机器资源,造成服务暂时不可用(optimize?max_num_segments=1就会吃光所有资源),但是我没有从官方文档找到_forcemerger 这种方式的资源消耗。3、在es 6.7及以上中index.me...阅读全文

墨天轮 2021-03-22 00:00 墨天轮

ElasticSearch备份快照到HDFS

> 编程乐园 > 编程内功 > 架构&设计模式 > ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) 架构&设计模式 water 5年前 (2017-03-29) 3348℃ 0评论 repository-hdfs安装包的下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsea...阅读全文

2.6(CDH5.6.0) – 学时网 2017-03-29 00:00 2.6(CDH5.6.0) – 等

使用 Delete By Query API 的方式删除ES索引中的数据 - 腾讯云开发者社区

一、前言| ES作为现今最流行的搜索存储库,我们需要定期去清理ES集群的数据以保证集群处在一个最佳负载状态,那么如何去删除这些数据呢,我们今天来介绍一种比较常见的通过Delete By Query的方式去删除索引中的数据。二、Delete By Query API 介绍 怎么理解这个API呢?实际是批量删除数据的意思 功能:根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。POST index_name/_delete_by_query { "query": { //这些是自定义查询...阅读全文

腾讯云 2020-11-01 17:43 腾讯云

Flink 中 slot ,task,并行度的详解及其高频面试题

点击上方蓝字关注一下吧    看完记得点个关注呦~,了解更多职场及大数据,人工智能,java等技术文章。    在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗?Flink的并行度设置是怎样的?2.任务并行度与slot之间的关系?3.Flink并行度设置优先级?4.并行的任务,需要占用多少slot?5. slot并行的条件?6. taskmanager与slot之间的关系?7.什么是slot共享,slot共享的好处?...阅读全文

墨天轮 2022-03-29 00:00 墨天轮

Flink的Task与SubTask理解_黄土高坡上的独孤前辈的博客

文章目录 官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.ht...阅读全文

CSDN博客_flink subtask 2020-12-09 23:18 CSDN博客_flink su 等

Flink task和subTask_大数据私房菜的博客

Flink-Task、SubTask、并行度 ldc2013的博客 08-01 292 Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系: 算子=Task 并行度=SubTask task是抽象概念,subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度(subtask),肯定在不同的slot,但也可能在不同的taskmanager 一个流程序的并行度,可以认为就是其所有算子中...阅读全文

CSDN博客_flink subtask 2020-05-31 07:36 CSDN博客_flink su 等