登录一下，更多精彩内容等你发现贡献精彩回答，参与评论互动登录查看全部 25 个回答学徒programmer70 人赞同了该回答在探讨这个问题之前，关于网络中的Bufferbloat问题需要了解，详细信息在这里（https://www.bufferbloat.net/projects/bloat/wiki/Introduction/），@李博杰 的回答也说得比较清楚了。在这里做一些补充吧。流量控制分为两部分：* 接收方的流量控制（即滑动窗口）-- 由接收方告知，只关注自身缓存情况，不关注网络，这里不讨论。* 发送方的流量控制（即拥塞控制）现在广泛使用的CUBIC/(new)Reno都是基于丢包的，在算法上重点输出拥塞窗口（cwnd）；而BBR输出cwnd和pacing_rate，且pacing...阅读全文
在对Mapper调优的过程中，一个经验法则是： map任务最好拥有一分钟以上的运行时间。 因为如果任务运行时间过短，将导致在整个作业的执行过程中任务启动所花费的时间过大，从而降低了实际的任务执行效率。 对map任务的运行时间影响最大的是Mapper的个数，不过与Reducer不同，Mapper的个数是无法显示指定的。 调节Mapper数量的一种方式是设置参数mapred.jobtracker.maxtasks.per.job， 但其只能限制每个job中并发运行的map或reduce任务的上限，而当实际运行的map数低于该上限时，该参数将失效。 如果想要对Mapper个数进行更加直接有效的控制，需要指定输入数据的分片大小。 输入分片(input split)是MapReduce框架为使map任...阅读全文
如果你正在使用 IntelliJ IDEA 编译 Java 项目，遇到编译速度缓慢的问题，以下是一些可能的原因和解决方法： 内存不足：检查你的电脑内存是否足够支持 IDEA 运行，并确保为 IDEA 分配了足够的内存。你可以编辑 IntelliJ IDEA 安装目录下的 bin 目录下的 idea64.exe.vmoptions 文件，将-Xms和-Xmx参数值增加一些。 插件过多：禁用不必要的插件，因为一些插件可能会导致 IDEA 编译速度变慢。 外部依赖库：检查你的项目是否引用了大量的外部依赖库，如果是，建议尝试减少依赖库的数量或者更换为较小的依赖库。 编译设置：检查你的编译设置是否正确。例如，你可以在“File” -> “Settings” -> “Build, Execution, ...阅读全文
五一假期前落下了几节操作系统的课，现在艰难的恶补中。。 以下是分页存储管理相关的一些知识点梳理。 首先我们应该知道的概念： 逻辑地址：是程序编译后，生成的目标模块进行编址时都是从0号开始编址，称之为目标模块的相对地址，即逻辑地址。 虚拟地址：计算机处理器的地址有32位和64位的两种，对应的虚拟地址的空间大小分别是2^32字节和2^64字节，字节用B表示。 页：分页存储管理将进程的逻辑地址空间划分为若干页（面），并且对其编号，号数从0开始，每个页（面）的大小称为页面大小，且大小应为2的幂。 物理块：将内存的物理地址空间划分为若干块，称为物理块，物理块与页（面）一一对应。 页表：又称页面映像表，存储在内存中，通过页表建立页（面）与物理块的索引。 下面通过举例子梳理一下： 假设我们已经知道了逻辑地...阅读全文
1、平衡二叉树概念平衡二叉树是基于二分法的策略提高数据的查找速度的二叉树的数据结构；特点：平衡二叉树是采用二分法思维把数据按规则组装成一个树形结构的数据，用这个树形结构的数据减少无关数据的检索，大大的提升了数据检索的速度；平衡二叉树的数据结构组装过程有以下规则：（1）非叶子节点只能允许最多两个子节点存在。（2）每一个非叶子节点数据分布规则为左边的子节点小当前节点的值，右边的子节点大于当前节点的值(这里值是基于自己的算法规则而定的，比如hash值)；平衡树的层级结构：因为平衡二叉树查询性能和树的层级（h高度）成反比，h值越小查询越快、为了保证树的结构左右两端数据大致平衡降低二叉树的查询难度一般会采用一种算法机制实现节点数据结构的平衡，实现了这种算法的有比如Treap、红黑树，使用平衡二叉树能保...阅读全文
今天看到一个博客园的一篇关于MySQL的IN子查询优化的案例，一开始感觉有点半信半疑（如果是换做在SQL Server中，这种情况是绝对不可能的，后面会做一个简单的测试。）随后动手按照他说的做了一个表来测试验证，发现MySQL的IN子查询做的不好，确实会导致无法使用索引的情况（IN子查询无法使用所以，场景是MySQL，截止的版本是5.7.18） MySQL的测试环境 测试表如下 create table test_table2 ( id int auto_increment primary key, pay_id int, pay_time datetime, other_col varchar(100) ) 建一个存储过程插入测试数据，测试数据的特点是pay_id可重复，这里在存储过程处理...阅读全文
Unicode与UTF-8/UTF-16/UTF-32的区别 Unicode的最初目标，是用1个16位的编码来为超过65000字符提供映射。但这还不够，它不能覆盖全部历史上的文字，也不能解决传输的问题 (implantation head-ache's)，尤其在那些基于网络的应用中。已有的软件必须做大量的工作来程序16位的数据。 因此，Unicode用一些基本的保留字符制定了三套编码方式。它们分别是UTF-8,UTF-16和UTF-32。正如名字所示，在UTF－8中，字符 是以8位序列来编码的，用一个或几个字节来表示一个字符。这种方式的最大好处，是UTF－8保留了ASCII字符的编码做为它的一部分，例如，在 UTF－8和ASCII中，“A”的编码都是0x41. UTF－16和UTF－32分别...阅读全文
1.关于MTU MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64Bytes最大不能超过1518Bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃这些数据帧。 由于以太网EthernetII最大的数据帧是1518Bytes这样，刨去以太网帧的帧头（DMAC目的MAC地址48bits=6Bytes + SMAC源MAC地址48bits=6Bytes + Type域2Bytes）14Bytes和帧尾CRC校验部分4Bytes那么剩下承载上层协议的地方也就是Data域最大就只能有1500Byte...阅读全文
背景： 为了提高数据库效率，建索引是家常便饭；那么当查询条件为2个及以上时，我们是创建多个单列索引还是创建一个联合索引好呢？他们之间的区别是什么？哪个效率高呢？我在这里详细测试分析下。 一、联合索引测试 注：Mysql版本为 5.7.20 创建测试表(表记录数为63188)： CREATE TABLE `t_mobilesms_11` ( `id` bigint(20) NOT NULL AUTO_INCREMENT, `userId` varchar(255) CHARACTER SET utf8 COLLATE utf8_bin NOT NULL DEFAULT '' COMMENT '用户id，创建任务时的userid', `mobile` varchar(24) NOT NULL D...阅读全文
登录注册写文章首页下载APPIT技术抽奖Skip List--跳表（全网最详细的跳表文章没有之一）fanrui关注赞赏支持Skip List--跳表（全网最详细的跳表文章没有之一）跳表是一种神奇的数据结构，因为几乎所有版本的大学本科教材上都没有跳表这种数据结构，而且神书《算法导论》、《算法第四版》这两本书中也没有介绍跳表。但是跳表插入、删除、查找元素的时间复杂度跟红黑树都是一样量级的，时间复杂度都是O(logn)，而且跳表有一个特性是红黑树无法匹敌的（具体什么特性后面会提到）。所以在工业中，跳表也会经常被用到。废话不多说了，开始今天的跳表学习。 通过本文，你能 get 到以下知识： 什么是跳表？ 跳表的查找、插入、删除元素的流程 跳表查找、插入、删除元素的时间复杂度 跳表插入元素时，如何动态...阅读全文
1.DDL（Data Definition Language）数据库定义语言statements are used to define the database structure or schema. DDL是SQL语言的四大功能之一。用于定义数据库的三级结构，包括外模式、概念模式、内模式及其相互之间的映像，定义数据的完整性、安全控制等约束DDL不需要commit.CREATEALTERDROPTRUNCATECOMMENTRENAME2.DML（Data Manipulation Language）数据操纵语言statements are used for managing data within schema objects. 由DBMS提供，用于让用户或程序员使用，实现对数据库中数据...阅读全文
如果一个select语句能够返回单个值或者一列值，且该select语句嵌套在另一个SQL语句（例如select语句、insert语句、update语句或者delete语句）中，那么该select语句成为“子查询”（也叫内层查询），包含子查询的SQL语句称为“主查询”（也叫外层查询）。为了标记子查询与主查询之间的关系，通常将子查询写在小括号内。子查询一般用在主查询的where子句或having子句中，与比较运算符或者逻辑运算符一起构成where筛选条件或having筛选条件。子查询分为“相关子查询”（Dependent Subquery）与“非相关子查询”。 非相关子查询如果子查询返回单个值，则可以讲一个表达式的值与子查询的结果进行比较。 例如，检索成绩比学生张三平均分高的所有学生及课程的信息...阅读全文
备注: Hive 版本 2.1.1 Table of Contents一.Hive分区表概述二.静态分区2.1 单分区测试2.2 多分区测试三.动态分区3.1 动态分区测试3.2 动态分区和静态分区混合使用四.分区的其它操作4.1 恢复分区4.2 归档分区4.3 交换分区参考 一.Hive分区表概述 数据分区的概念以及存在很久了，通常使用分区来水平分散压力，将数据从物理上移到和使用最频繁的用户更近的地方，以及实现其目的。 hive中有分区表的概念，我们可以看到分区具重要性能优势，而且分区表还可以将数据以一种符合逻辑的方式进行组织，比如分层存储 Hive官方网站对Hive partition的介绍: 可以使用Partitioned BY子句创建分区表。一个表可以有一个或多个分区列，并且为分区列...阅读全文
背景String作为JDK最核心的数据类型之一，非常有必要专门学习一下，重点关注这4个文件jdk/src/java.base/share/native/libjava/String.cjdk/src/java.base/share/classes/java/lang/String.javajdk/src/java.base/share/classes/java/lang/StringLatin1.javajdk/src/java.base/share/classes/java/lang/StringUTF16.java存储无论是何种语言的何种实现，String本质上都是字节序列，所有可能的字符加起来就构成了字符集，给字符集中每个字符一个序号就是字符编码，使用最广泛的就是Unicode了，它几...阅读全文
Tair 分布式K-V存储方案 tair 是淘宝的一个开源项目，它是一个分布式的key/value结构数据的解决方案。 作为一个分布式系统，Tair由一个中心控制节点（config server）和一系列的服务节点（data server）组成， config server 负责管理所有的data server，并维护data server的状态信息；为了保证高可用（High Available），config server可通过hearbeat 以一主一备形式提供服务； data server 对外提供各种数据服务，并以心跳的形式将自身状况汇报给config server；所有的 data server 地位都是等价的。 tair集群的基本概念： configID，唯一标识一个tair集群...阅读全文
前言MyBatis是常见的Java数据库访问层框架。在日常工作中，开发人员多数情况下是使用MyBatis的默认缓存配置，但是MyBatis缓存机制有一些不足之处，在使用中容易引起脏数据，形成一些潜在的隐患。个人在业务开发中也处理过一些由于MyBatis缓存引发的开发问题，带着个人的兴趣，希望从应用及源码的角度为读者梳理MyBatis缓存机制。本次分析中涉及到的代码和数据库表均放在GitHub上，地址： mybatis-cache-demo 。目录本文按照以下顺序展开。一级缓存介绍及相关配置。一级缓存工作流程及源码分析。一级缓存总结。二级缓存介绍及相关配置。二级缓存源码分析。二级缓存总结。全文总结。一级缓存一级缓存介绍在应用运行过程中，我们有可能在一次数据库会话中，执行多次查询条件完全相同的S...阅读全文
大热的《阿里巴巴Java开发规约》中有提到： 【推荐】集合初始化时，指定集合初始值大小。说明：HashMap使用如下构造方法进行初始化，如果暂时无法确定集合大小，那么指定默认值（16）即可： public HashMap (int initialCapacity) { this(initialCapacity, DEFAULT_LOAD_FACTOR); } 看到代码规约这一条的时候，我觉得是不是有点太 low 了，身为开发，大家都知道 HashMap 的原理。 什么？这个要通过插件监测？没必要吧，哪个开发不知道默认大小，何时 resize 啊，然后我和孤尽打赌随机咨询几位同学以下几个问题： HashMap 默认bucket数组多大？ 如果new HashMap<>(19)，bucket数组...阅读全文
前言在接触到MQTT之后，总是会有疑问，为什么用MQTT不用TCP长连接透传？看起来【TCP长连接+私有协议透传】和【MQTT+业务主题】似乎都能达到同样的目的，甚至用MQTT会使得设备端逻辑实现、APP端逻辑实现、云端架构实现更加复杂。那么为什么物联网还要使用MQTT协议呢？一、MQTT相比于TCP长连接的优势1、协议更标准MQTT是标准的RFC协议，相比于私有协议而言更加标准。好处在于：（1）协议非常完整，能够马上用于生产。各端实现同一套协议之后，就能进行通信；私有协议还需要进行大量的验证，看有无缺陷或欠考虑的地方等。（2）协议的标准化带来大量的开源组件，降低开发难度。随着物联网+5G生态越来越好，开源组件越来越多，可以减少重复编码量。（3）标准协议利于第三方接入。当第三方设备、平台想要...阅读全文
本节主要介绍explode和posexplode函数的使用。1、数据介绍 主要包括三列，分别是班级、姓名以及成绩，数据表名是default.classinfo。2、单列Explode 首先来看下最基本的，我们如何把student这一列中的数据由一行变成多行。这里需要使用split和explode，并结合lateral view实现。代码如下：select class,student_name from default.classinfo lateral view explode(split(student,',')) t as student_name 结果如下：3、单列Posexplode 接下来，我们想要给每个同学来一个编号，假设编号就按姓名的顺序，此时我们要用到另一个hive函数，叫做...阅读全文
使用UDP协议进行信息的传输之前不需要建议连接。换句话说就是客户端向服务器发送信息，客户端只需要给出服务器的ip地址和端口号，然后将信息封装到一个待发送的报文中并且发送出去。至于服务器端是否存在，或者能否收到该报文，客户端根本不用管。 单播用于两个主机之间的端对端通信，广播用于一个主机对整个局域网上所有主机上的数据通信。单播和广播是两个极端，要么对一个主机进行通信，要么对整个局域网上的主机进行通信。实际情况下，经常需要对一组特定的主机进行通信，而不是整个局域网上的所有主机，这就是多播的用途。 通常我们讨论的udp的程序都是一对一的单播程序。本章将讨论一对多的服务：广播（broadcast）、多播（multicast）。对于广播，网络中的所有主机都会接收一份数据副本。对于多播，消息只是发送到一...阅读全文
图解LinkedHashMap原理1 前言 LinkedHashMap继承于HashMap，如果对HashMap原理还不清楚的同学，请先看上一篇：图解HashMap原理 2 LinkedHashMap使用与实现 先来一张LinkedHashMap的结构图，不要虚，看完文章再来看这个图，就秒懂了，先混个面熟： LinkedHashMap结构.png 2.1 应用场景 HashMap是无序的，当我们希望有顺序地去存储key-value时，就需要使用LinkedHashMap了。 Map
目录1.retries参数说明 2.retries使用建议 3.retries后续发展复制1.retries参数说明参数的设置通常是一种取舍，看下retries参数在版本0.11.3说明：Setting a value greater than zero will cause the client to resend any record whose send fails with a potentially transient error. Note that this retry is no different than if the client resent the record upon receiving the error. Allowing retries without s...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。 为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。 认识 Kafka 看一下维基百科的定义 Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。 Kafka 架构 Kafka 的整体架构非常简单，是显式分布式架构，主要由 Producer、Broker（Kafka） 和 Consumer 组成。 Kafka架构（精简版） Pr...阅读全文
时序数据库技术体系中一个非常重要的技术点是时序数据模型设计，不同的时序系统有不同的设计模式，不同的设计模式对时序数据的读写性能、数据压缩效率等各个方面都有不同程度的影响。这篇文章笔者将会分别针对OpenTSDB、Druid、InfluxDB以及Beringei这四个时序系统中的时序数据模型设计进行介绍。 在详细介绍时序数据模型之前，还是有必要简单回顾一下时序数据的几个基本概念，如下图所示： 上图是一个典型的时序数据示意图，由图中可以看出，时序数据由两个维度坐标来表示，横坐标表示时间轴，随着时间的不断流逝，数据也会源源不断地吐出来；和横坐标不同，纵坐标由两种元素构成，分别是数据源和metric，数据源由一系列的标签（tag，也称为维度）唯一表示，图中数据源是一个广告数据源，这个数据源由publ...阅读全文
学习地址1：https://pan.baidu.com/s/1OWDu5fNq_BXRUbLGrxzpJw 提取码：tjty 学习地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 今天跟大家交流一下关于开发一款数据库系统的相关事宜，从零开始，手把手带着大家一步步去实现这个功能，希望对大家有所帮助。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质 、处理对象和管理系统的集合体。 数据库系统DBS（Data Base System，简称DBS）通常由软件、数据库和数据管理员组成。其软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统。数据库由数...阅读全文
在使用Hive处理数据时，经常遇到行列转换的场景，本文将对Hive的行列转换操作做详细的说明。 行转列## 1）多行转多列 假设数据表 row2col： col1 col2 col3 a c 1 a d 2 a e 3 b c 4 b d 5 b e 6 现在要将其转化为： col1 c d e a 1 2 3 b 4 5 6 此时需要使用到max(case … when … then … else 0 end)，仅限于转化的字段为数值类型，且为正值的情况。 HQL语句为： select col1, max(case col2 when 'c' then col3 else 0 end) as c, max(case col2 when 'd' then col3 else 0 end) a...阅读全文
今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程，我将深度还原大厂实习期技术成长全流程，让你收获大厂项目开发全流程与实战经验，具备应对大流量场景问题的解决能力，全面助力提升实习/转正/跳槽表现力与成功率。 以下是参考资料下载： 网盘地址：https://pan.baidu.com/s/1QNf3FbzlswJd_DU3FC64nw 提取码：q61x 腾讯微云下载地址：https://share.weiyun.com/o6TKslZV 密码：qn8bim Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spr...阅读全文
大型互联网公司一般都会要求消息传递最大限度的不丢失，比如用户服务给代金券服务发送一个消息，如果消息丢失会造成用户未收到应得的代金券，最终用户会投诉。为避免上面类似情况的发生，除了做好补偿措施，更应该在系设计的时候充分考虑各种异常，设计一个稳定、高可用的消息系统。认识 Kafka看一下维基百科的定义Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka是一个分布式的、可划分的、冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。Kafka 架构Kafka 的整体架构非常简单，是显式分布式架构，主要由 Producer、Broker（Kafka） 和 Consumer 组成。Kafka架构（精简版）Producer（生...阅读全文
Elasticsearch 最少必要知识实战教程直播回放 #1、reindex的速率极慢，是否有办法改善？ 以下问题来自社区：https://elasticsearch.cn/question/3782 问题1：reindex和snapshot的速率极慢，是否有办法改善？ reindex和snapshot的速率比用filebeat或者kafka到es的写入速率慢好几个数量级（集群写入性能不存在瓶颈），reindex/snapshot的时候CPU还是IO使用率都很低，是不是集群受什么参数限制了reindex和snapshot的速率？ reindex不管是跨集群还是同集群上都很慢，大约3~5M/s的索引速率，会是什么原因导致的？ 问题2：数据量几十个G的场景下，elasticsearch rei...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一个region中有一个或多个stroe，每个stroe对应一个column families(列族)。一个store中包含一个memstore 和 0 或 多个store files。每个column family 是...阅读全文
Seata 分布式事务 XA 与 AT 全面解析 2021-04-23 FUNKYE Seata Seata 目录 1.XA模式是什么？ 1.1什么是XA 1.2什么是Seata的事务模式？ 2那么什么是Seata XA 模式？ 2.1什么是Seata AT(TXC) 模式？ 2.2AT 模式如何做到对业务的无侵入 ？ AT模式一阶段 2.3 AT 模式如何保证隔离性 AT 模式二阶段提交 AT 模式二阶段回滚 3.为什么支持XA？ 4.为什么Seata要支持XA模式？ AT与XA的关系 Seata AT与XA的优劣 总结 Seata 是一款开源的分布式事务解决方案，star高达17300+，社区活跃度极高，致力于在微服务架构下提供高性能和简单易用的分布式事务服务。 注：本期分享借鉴于Sea...阅读全文
ElasticSearch学习笔记之九 复杂数据类型和嵌套对象 复杂数据类型空域数组域多层级对象内部对象的映射内部对象的索引内部对象数组 嵌套对象嵌套对象映射 复杂数据类型 除了前面说到的简单数据类型，Elasticsearch还支持JSON 的null ，数组，和对象. 空域 字段取值可以为空，当然，数组也可以为空。 然而，在 Lucene 中是不能存储 null 值的，所以我们认为存在 null 值的域为空域。 下面三种域被认为是空的，它们将不会被索引： "null_value": null, "empty_array": [], "array_with_null_value": [ null ] 数组域 很多时候，我们希望 tag 域 包含多个标签。我们可以以数组的形式索引标签： { ...阅读全文
前面我们有讲过如何进行API的安全控制，其中包括数据加密，接口签名等内容。详细可以参考我下面两篇文章：-《前后端API交互如何保证数据安全性》请添加链接描述-《再谈前后端API签名安全？》请添加链接描述在签名部分，通过时间戳的方式来判断当前请求是否有效，目的是为了防止接口被多次使用。但是这样并不能保证每次请求都是一次性的，今天给大家介绍下如何保证请求一次性？首先我们来回顾一些时间戳判断的原理：客户端每次请求时，都需要进行签名操作，签名中会加上signTime参数(当前请求时间戳)。HTTP请求从发出到达服务器的正常时间不会很长，当服务器收到HTTP请求之后，首先进行签名检查，通过之后判断时间戳与当前时间相比较，是否超过了一定的时间，这个时间我们可以自行决定要多长，比如1分钟，2分钟都可以，时...阅读全文
1、实战开发遇到聚合问题 请教一个问题，ES 在聚合的时候发生了一个奇怪的现象聚合的语句里面size设置为10和大于10导致聚合的数量不一致，这个size不就是返回的条数吗？会影响统计结果吗？dsl语句摘要（手机敲不方便，双引号就不写了）： aggs:{topcount:{terms:{field:xx,size:10}}} 就是这个size，设置10和大于10将会导致聚合结果不一样，难道是es5.x的bug吗？ 以上是实战中的真实问题，基于这个问题，有了本篇文章。 本文探讨的聚合主要指：terms 分桶聚合。下图为分桶 terms 聚合示意图。 从一堆多分类的产品中聚合出 TOP 3 的产品分类和数量。TOP3 结果： 产品 Y：4 产品 X：3 产品 Z：2 2、前提认知：Elastic...阅读全文
综述字节跳动在发展过程中，逐渐形成了十分复杂的超大规模微服务体系，对后端整体的可观测性解决方案提出了极高的要求。为了解决这个问题，基础架构智能运维团队自研链路追踪系统，将海量 Metrics/Trace/Log 数据进行整合与统一，并在此基础上实现了新一代的一站式全链路观测诊断平台，帮助业务解决监控排障、链路梳理、性能分析等问题。本文将会介绍字节跳动链路追踪系统的整体功能和技术架构，以及实践过程中我们的思考与总结。什么是分布式链路追踪(Trace) ？M T L 的关系可观测性的三大基础数据是 Metrics / Log / Trace。说到这三大件，可能大家会想到当需要监控变化趋势和配置告警时就去用 Metrics；当需要细查问题时去查 log；对于微服务数量较多的系统，还得有 Trace...阅读全文
参考地址1：https://pan.baidu.com/s/1N-x48vz9Z0peZdjOU5Gh-g 提取码: nxts 参考地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 关于数据库系统的开发一直以来都是一个难点，它的流程复杂，涉及到的技术点众多，特别在部署这块尤为重要，今天就带着大家手把手去实现这样一个数据库系统项目。 我将从理论结合实际场景综合性落地，让大家轻松吃透核心技术底层原理。 首先是应用场景这块：复用到日常开发场景中，如何运用高级数据结构、算法和设计模式，如何正确面对高并发进行编程，如何进行数据库的优化，如何理解数据库的执行计划分析慢SQL的原因等； 其次是原理剖析： 深度剖析数据库系统原理，将数据库几十年发展精髓拆解并呈现...阅读全文
 给大家整理了一些关于C++大厂面试2024最新真题，希望能够帮助到大家的面试： 1、synchronized 关键字和 volatile 关键字的区别 synchronized 关键字和 volatile 关键字是两个互补的存在，而不是对立的存在！ volatile 关键字是线程同步的轻量级实现，所以volatile 性能肯定比synchronized关键字要好。但是volatile 关键字只能用于变量而 synchronized 关键字可以修饰方法以及代码块 volatile 关键字能保证数据的可见性，但不能保证数据的原...阅读全文
 一、什么是实时数仓 实时数据仓库（Real-time Data Warehouse）是指能够实时地处理和分析数据，使得数据仓库中的数据是最新的、最准确的，并且可以实时响应用户的查询和分析需求的一种数据仓库系统。 与传统的数据仓库相比，实时数据仓库更加注重数据的实时性和对业务的实时响应能力。传统数据仓库通常是每日、每周或每月定期进行数据的抽取、转换和加载（ETL），更新的速度较慢，一般不支持实时查询和分析。而实时数据仓库则更加注重数据的实时性和对业务的实时响应能力，能够在数据发生变化时及时响应用户的查询和分析需求。 二、安装...阅读全文
对表进行预分区，可以防止单分区一次写入数据过大，hbase 集群本身还没来得及自动分裂，导致 region 宕掉的问题。 1、创建表时指定一个拆分点数组 split point 将定义n+1个区域，其中n是分割点的数量， point 为'10'时实际上是在指定字节分割'\x31\30' hbase>create 't1','f',SPLITS => ['10','20','30'] 获取rowkey的第一个字节，按照进行分割 hbase> create 't',{NAME => 'f0',VERSIONS => 1, COMPRESSION => 'snappy'},{NAME => 'f1',VERSIONS => 10000, COMPRESSION => 'snappy'},CONFI...阅读全文
 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案，本文将从指标抓取到查询及可视化展示，以及最后的监控告警，对Prometheus做一个基本的认识。 Prometheus发展速度很快，12年开发完成，16年加入CNCF，成为继K8s之后第二个CNCF托管的项目，目前Github 42k的 ，而且社区很活跃，维护频率很高，基本稳定在 1个月1个小版本的迭代速度。 二、Prometheus的特点 多维数据模型：由度量名称和键值对标识的时间序列数据 时序数据，是在一段时间内通过重复测量（me...阅读全文
【完结11章】技术大牛成长课,从0到1带你手写一个数据库系统 给大家分享一套数据库课程——技术大牛成长课,从0到1带你手写一个数据库系统，课程已完结，共11章，附源码。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统，也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统，是存储介质 、处理对象和管理系统的集合体。 如果分片数据损坏，无法修复，比如某个磁盘坏了，这时候数据无法修复，为了恢复索引状态，可以允许分片的数据丢失，后续通过上层数据来重建索引，这时候我们可以增加 accept_data_loss参数来允许分片数据丢失 POST /_cluster/reroute { "commands": [ { "move": { "index": "test_inde...阅读全文
通过前面文章的介绍，相信大家对Java集合框架有了简单的理解，接下来说说集合中最常使用的一个集合类的父类，List 集合。那么，List到底是什么？它有哪些特性？又该如何使用呢？让我们一起来揭开List的神秘面纱。 List，顾名思义，就是列表的意思。在Java中，List是一个接口，它继承了Collection接口，表示一个有序的、可重复的元素集合。下面我们从List 接口的概念、特点和常用方法等方面来介绍List。 ## 一、List 接口介绍 java.util.List 接口，继承自 Collection 接口(可以回看咱们第二篇中的框架体系)，List 接口是单列集合的一个重要分支，习惯性地将实现了List 接口的对象称为List集合。  数据类型、变量和常量的使用 在计算机编程中，数据类型、变量和常量是非常重要的概念。它们可以帮助程序员更好地理解和处理数据，从而实现更加复杂的功能。本文将详细介绍这些概念及其使用。 数据类型 数据类型是指计算机中可用的不同种类的数据。在编程语言中，通常有多种基本数据类型，如整数、浮点数、布尔值、字符等。每种数据类型都有其自己的特定格式和范围。 例如，在Python编程语言中，有以下常见的数据类型： 整数（int）：表示整数，如1、2、3等。 浮点数（float）：表示小数，如1.5、3.14等。 布尔值（bool）...阅读全文
生xhr对象 现代浏览器，最开始与服务器交换数据，都是通过XMLHttpRequest对象。它可以使用JSON、XML、HTML和text文本等格式发送和接收数据。 好处： 不重新加载页面的情况下更新网页 在页面已加载后从服务器请求/接收数据 在后台向服务器发送数据。 缺点： 使用起来也比较繁琐，需要设置很多值。 早期的IE浏览器有自己的内置对象，这样需要写兼容代码判断是否为XMLHttpRequest对象。 if (window.XMLHttpRequest) { // model browser xhr = new XMLHttpRequest() } else if (window.ActiveXObject) { // IE 6 and older xhr = new ActiveX...阅读全文
HBase 参数设置参考 前言HBase 配置参数极其繁多，参数配置可能会影响到 HBase 性能问题，因此得好好总结下。 HBase 调优是个技术活。得结合多年生产经验加测试环境下性能测试得出。 JVM垃圾回收优化 本地 memstore 分配缓存优化 Region 拆分优化 Region 合并优化 Region 预先加载优化 负载均衡优化 启用压缩，推荐snappy 进行预分区，从而避免自动 split，提高 HBase 响应速度 避免出现 region 热点现象，启动按照 table 级别进行 balance GCHBase CMS GC 配置参考 RS 参数hbase.server.thread.wakefrequency 该值默认是 10 秒，它影响着 Flush 和 Compac...阅读全文
Spring Security 跨站请求伪造保护 1. 前言 很多小伙伴在开发 Spring Security 项目时候，本地测试都没有问题，一放到生产环境后，就会遇到「Invalid CSRF Token」问题，这其实是 Spring Security 防止服务免受「跨站请求伪造」攻击攻击的防护行为。 跨站请求伪造（Cross Site Request Forgery），简写成「CSRF」或者「XSRF」，是一种挟持用户所用浏览器，执行非法操作的攻击方法，也就是说，攻击者利用「CSRF」漏洞伪造用户操作，可实现例如购物、注销等效果，还可以利用该漏洞配合产生其他多种攻击方式。 针对「CSRF」攻击最经济的解决方式是增加「Referer」头或者增加校验「Token」。 Spring Secur...阅读全文
文章目录 简介初始化向ByteBuffer写数据手动写入数据从SocketChannel中读入数据至ByteBuffer 从ByteBuffer中读数据复位position读取数据确保数据长度字节序处理 继续写入数据总结 简介 在Java的Socket编程中，若使用阻塞式（BIO），则往往通过ServerSocket的accept()方法获取到客户端Socket之后，再使用客户端Socket的InputStream和OutputStream进行读写。Socket.getInputstream.read(byte[] b)和Socket.getOutputStream.write(byte[] b)的方法中的参数都是字节数组。这种阻塞式的Socket编程显然已经远远不能满足目前的并发式访问需求...阅读全文
Kafka对于producer发来的消息怎么保证可靠性？ 每个partition都给配上副本，做数据同步，保证数据不丢失。 副本数据同步策略 和zookeeper不同的是，Kafka选择的是全部完成同步，才发送ack。但是又有所区别。 所以，你们才会在各种博客看到这句话【kafka不是完全同步，也不是完全异步，是一种ISR机制】 这句话对也不对，不对也对（谜语人......） 首先笔者认为：Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障，过半机制需要 2n+1 个副本，而全部同步方案只需要 n+1 个副本， 而 Kafka 的每个分区都有大量的数据，过半机制方案会造成大量数据的冗余。（这就是和zookeeper的不同） 完全同步会有什么问题？ 假设就有这么...阅读全文
本文分享自天翼云开发者社区《HPC云化部署的优势和挑战》 作者:土豆炒肉丝HPC云化部署指的是将高性能计算（HPC）工作负载部署在云计算平台上，这种方式带来了一些明显的优势，但同时也面临一些挑战。以下是HPC云化部署的主要优势和挑战： 优势：1.灵活性和弹性：云计算平台提供灵活的资源调度和弹性伸缩功能，可以根据需要动态分配计算资源。这使得HPC应用能够更加高效地利用计算资源，根据实际需求进行资源扩展或收缩，从而降低成本。2.成本效益：传统HPC集群的建设和维护需要昂贵的硬件设备和专业技术团队。通过在云平台上进行部署，用户无需投资大量资金购买硬件设备，而是按需付费，只支付实际使用的资源，节省了大量成本。3.全球可访问性：云计算平台的服务通常分布在多个地理位置，用户可以从世界各地的终端设备访问这...阅读全文
