java技术圈 为您找到相关结果 170

一种通过延迟事务提升数据库性能的方法

本文分享自天翼云开发者社区《一种通过延迟事务提升数据库性能的方法》,作者:唐****律一、背景在数据库代理层中,写节点的数据库连接是一种很重要和稀缺的资源,提升其利用率是一个提升数据库整体性能的重要手段。数据库连接占用过高会大幅增加数据库的资源负担,降低数据库的处理能力。通过延迟启动的事务,可以减少不必要的连接占用时长,提升数据库连接利用率。在用户通过代理层使用数据库的时候,如果提交了一条只读查询,那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务,那么在用户提交或者回滚事务之前,该连接不能归还到连接池,大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中,只读查询语句的查询结果是不可重复的,这时如果事务中没有其它写操作,...阅读全文

博文 2023-09-28 16:23:55 Tianyiyun

idea编译项目很慢

如果你正在使用 IntelliJ IDEA 编译 Java 项目,遇到编译速度缓慢的问题,以下是一些可能的原因和解决方法: 内存不足:检查你的电脑内存是否足够支持 IDEA 运行,并确保为 IDEA 分配了足够的内存。你可以编辑 IntelliJ IDEA 安装目录下的 bin 目录下的 idea64.exe.vmoptions 文件,将-Xms和-Xmx参数值增加一些。 插件过多:禁用不必要的插件,因为一些插件可能会导致 IDEA 编译速度变慢。 外部依赖库:检查你的项目是否引用了大量的外部依赖库,如果是,建议尝试减少依赖库的数量或者更换为较小的依赖库。 编译设置:检查你的编译设置是否正确。例如,你可以在“File” -> “Settings” -> “Build, Execution, ...阅读全文

技术大牛成长课,从0到1带你手写一个数据库系统-完结11章

参考地址1:https://pan.baidu.com/s/1N-x48vz9Z0peZdjOU5Gh-g 提取码: nxts 参考地址2:https://share.weiyun.com/Tp6ewDIJ 密码:6crcwd 关于数据库系统的开发一直以来都是一个难点,它的流程复杂,涉及到的技术点众多,特别在部署这块尤为重要,今天就带着大家手把手去实现这样一个数据库系统项目。 我将从理论结合实际场景综合性落地,让大家轻松吃透核心技术底层原理。 首先是应用场景这块:复用到日常开发场景中,如何运用高级数据结构、算法和设计模式,如何正确面对高并发进行编程,如何进行数据库的优化,如何理解数据库的执行计划分析慢SQL的原因等; 其次是原理剖析: 深度剖析数据库系统原理,将数据库几十年发展精髓拆解并呈现...阅读全文

博文 2023-11-29 17:32:10 feilipu2023nui

创建本地yum仓库

本文分享自天翼云开发者社区《创建本地yum仓库》,作者: zzzzgj;背景有的部署环境不通外网,但希望继续使用yum命令下载依赖包而不修改部署脚本逻辑。因此记录一个本地repo的建立方法。1、获取依赖包# 如在通网的机器上下载openssl-devel所有依赖yumdownloader --resolve --alldeps openssl-devel2、创建仓库创建一个(本地)存储库并用yum它来解决您的依赖关系。CentOS wiki提供了一个如何做到这一点。CentOS wiki HowTos / CreateLocalRepos。简要操作如下:1.为本地存储库创建一个目录,例如/home/teledb/repo。2.将RPM放置到该目录中:cd /home/teledb/repoy...阅读全文

Netty+Nacos+Disruptor自研企业级API网关

## download:[Netty+Nacos+Disruptor自研企业级API网关](https://www.51xuebc.com/thread-566-1-1.html) 数据类型、变量和常量的使用 在计算机编程中,数据类型、变量和常量是非常重要的概念。它们可以帮助程序员更好地理解和处理数据,从而实现更加复杂的功能。本文将详细介绍这些概念及其使用。 数据类型 数据类型是指计算机中可用的不同种类的数据。在编程语言中,通常有多种基本数据类型,如整数、浮点数、布尔值、字符等。每种数据类型都有其自己的特定格式和范围。 例如,在Python编程语言中,有以下常见的数据类型: 整数(int):表示整数,如1、2、3等。 浮点数(float):表示小数,如1.5、3.14等。 布尔值(bool)...阅读全文

博文 2023-05-31 12:27:59 zxit666

图文解释 读写分离、垂直拆分、水平拆分、分库分表

1. 前言 相信你经常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼,那么今天就来把这几个数据库常用术语搞清楚,同时也记录一下。 2. 读写分离 这个相对比较好理解一些,就是将数据库分为主从库,一个主库(Master)用于写数据,多个从库(Slaver)进行轮询读取数据的过程,主从库之间通过某种通讯机制进行数据的同步,是一种常见的数据库架构。下面这张图就展示了 “一主二从” 的结构: 2.1 为什么要读写分离 大多数互联网数据操作往往都是读多写少,随着数据的增长,数据库的“读”会首先成为瓶颈。如果我们希望能线性地提升数据库的读性能和写性能,就需要让读写尽可能的不相互影响,各自为政。在使用读写分离之前我们应该考虑使用缓存能不能解决问题。然后再考虑对数据库按照...阅读全文

博文 2023-09-13 16:02:53 掘金

HBase原理 | HBase Compaction介绍与参数调优-腾讯云开发者社区

我们知道,数据达到HBase服务端会写WAL-写Memstore,然后定期或满足一定条件时刷写磁盘生成一个HFile文件,随着时间推移生成的HFile会越来越多,将会影响HBase查询性能,同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。Minor Compaction称为小合并,主要是选取一些小的、相邻的HFile将他们合并成较大的HFile,并删除HFile中的过期数据。Major Compaction称为大合并,会将一个列族下的所有HFile合并成一个大的HFile,同时删除过期数据、已删除数据(打了Delete标记的)、版本过大的数据等三类无效数据。2. 参数调优1).hba...阅读全文

博文 2023-09-21 14:59:11 腾讯云

Linux 系统 /var/log/journal/ 垃圾日志清理

CentOS系统中有两个日志服务,分别是传统的 rsyslog 和 systemd-journal systemd-journald是一个改进型日志管理服务,可以收集来自内核、系统早期启动阶段的日志、系统守护进程在启动和运行中的标准输出和错误信息,还有syslog的日志。 该日志服务仅仅把日志集中保存在单一结构的日志文件/run/log中,由于日志是经历过压缩和格式化的二进制数据,所以在查看和定位的时候很迅速。 本文转自米扑博客:Linux 系统 /var/log/journal/ 垃圾日志清理 默认情况下并不会持久化保存日志,只会保留一个月的日志。另外,一些rsyslog无法收集的日志也会被journal记录到。 rsyslog作为传统的系统日志服务,把所有收集到的日志都记录到/var/l...阅读全文

博文 2023-10-29 10:24:54 CSDN博客

图灵 Python全栈开发工程师

download:https://www.daxiacode.com/7446.html【资源目录】:| ├──1–django 简介.mp4 1.65G| ├──10–权限分配.mp4 637.10M| ├──11–批量操作.mp4 1011.98M| ├──12–权限分配实现.mp4 696.79M| ├──13–rbac组件.mp4 804.36M| ├──14–stark组件(上).mp4 699.82M| ├──15–stark组件(下).mp4 635.81M| ├──16–CRM项目开发(上).mp4 362.90M| ├──2–路由匹配与函数视图.mp4 1.36G| ├──3–数据模型.mp4 1.56G| ├──4–数据查询与网络请求.mp4 1.22G| ├──5–网络...阅读全文

博文 2023-08-21 14:39:42 xiaotu

[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统

学习地址1:https://pan.baidu.com/s/1OWDu5fNq_BXRUbLGrxzpJw 提取码:tjty 学习地址2:https://share.weiyun.com/Tp6ewDIJ 密码:6crcwd 今天跟大家交流一下关于开发一款数据库系统的相关事宜,从零开始,手把手带着大家一步步去实现这个功能,希望对大家有所帮助。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统,也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统,是存储介质 、处理对象和管理系统的集合体。 数据库系统DBS(Data Base System,简称DBS)通常由软件、数据库和数据管理员组成。其软件主要包括操作系统、各种宿主语言、实用程序以及数据库管理系统。数据库由数...阅读全文

HBase Region 自动拆分策略-腾讯云开发者社区

HBase-2.x支持7种Region自动拆分Region的策略,类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略,其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文

博文 2023-09-21 14:22:17 腾讯云

OpenTSDB 数据存储详解

本文首发于 vivo互联网技术 微信公众号链接: https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA作者:DuZhimin随着互联网、尤其是物联网的发展,我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来,在有时间的坐标中将这些数据连点成线,往过去看可以做成多纬度报表,揭示其趋势性、规律性、异常性;往未来看可以做大数据分析,机器学习,实现预测和预警。这些数据的典型特点是:产生频率快(每一个监测点一秒钟内可产生多条数据)、严重依赖于采集时间(每一条数据均要求对应唯一的时间)、测点多信息量大(实时监测系统均有成千上万的监测点,监测点每秒钟都产生数据,每天产生几十GB的数据量)。基于时间序列数据的特点,关系型数据库无法满足对时...阅读全文

博文 2023-05-11 08:18:32 知乎

Nacos+Spring Cloud Gateway动态路由配置 - JJian

前言 Nacos最近项目一直在使用,其简单灵活,支持更细粒度的命令空间,分组等为麻烦复杂的环境切换提供了方便;同时也很好支持动态路由的配置,只需要简单的几步即可。在国产的注册中心、配置中心中比较突出,容易上手,本文通过gateway、nacos-consumer、nacos-provider三个简单模块来展示:Nacos下动态路由配置。 博文中源码已上传至github(https://github.com/Jian0110/learning-cloudalibaba),欢迎小伙伴们star 一、Nacos环境准备 1、启动Nacos配置中心并创建路由配置 具体的Nacos怎么配置就不介绍了,可以参考阿里巴巴的官方介绍,这里通过windows直接本地启动开启单机模式,登录Nacos Conso...阅读全文

博文 2023-11-27 10:26:09 博客园

linux中gz文件怎么解压,Linux解压gz文件的命令使用教程及详解_陳寶平的博客

今天小编给带来一篇linux解压方面的资料 Linux解压gz文件的命令有:gunzip命令、gzip命令、tar命令。下面本篇文章就来带大家了解一下 gz文件是一种压缩文件,以.gz或者.tar.gz(.tgz)为扩展名,在Linux、UNIX和OSX下常见,Linux和OSX都可以直接解压使用这种压缩文件。在Windows下常用压缩软件WinRAR打开gz文件,它相当于常见的RAR和ZIP格式。 .gz文件解压 如果是以.gz扩展名结尾的gz文件,可以使用gunzip命令、gzip命令来解压。 gunzip命令 作用是解压文件,使用权限是所有用户。例: gunzip FileName.gz gzip命令 gzip命令是在Linux系统中经常使用的一个对文件进行压缩和解压缩的命令,既方便又...阅读全文

博文 2023-11-08 17:19:05 CSDN博客

RocksDB原理及应用

RocksDB概述LSM 类存储引擎、数据库之一。所谓LSM,一般的名字叫 Log Structured-Merge Tree(日志结构合并树),来源于分布式数据库领域,也是BigTable 的论文中所使用的文件组织方式。它的特点在于写入的时候是append only的形式,就像名字所显示的那样,跟日志一样只在文件后面追加。LSM 树结构的问题: 写入速度快,读取速度慢,写放大和读放大都较高。Rocksdb本身支持单个kv的读写和批量kv值的读写。由于LSM的出身,它专注于利用LSM树的特性,适应有序、层次化的磁盘读写。在LSM树之上构建了Rocksdb,而在RocksDB之上同样有一些更面向应用层的数据库,包括分布式数据库、查询引擎、大数据存储引擎、图数据库如Janusgraph等。1. ...阅读全文

博文 2023-05-11 08:47:30 知乎

[完结19章]SpringBoot开发双11商品服务系统

今天给大家分享一下关于SpringBoot开发双11商品服务系统的整个流程,我将深度还原大厂实习期技术成长全流程,让你收获大厂项目开发全流程与实战经验,具备应对大流量场景问题的解决能力,全面助力提升实习/转正/跳槽表现力与成功率。 以下是参考资料下载: 网盘地址:https://pan.baidu.com/s/1QNf3FbzlswJd_DU3FC64nw 提取码:q61x 腾讯微云下载地址:https://share.weiyun.com/o6TKslZV 密码:qn8bim Spring Boot是由Pivotal团队提供的全新框架,其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置,从而使开发人员不再需要定义样板化的配置。通过这种方式,Spr...阅读全文

博文 2023-11-22 14:46:53 kaidnxhd2023

数字先锋 | 打造生态环境监测新范式,天翼云助力青海“生态之窗”数字化升级!

随着我国经济实力高速增长和人民生活水平不断提高,加大生态环境保护力度,以良好的生态环境为高质量发展赋能已成为社会共识。在全球数字化浪潮下,运用数字技术建设高效协同的环境治理新形态,提升生态环境统揽全局、监测感知、预警预报、形势分析等能力,是推进生态环境治理能力现代化的主要途径。近年来,青海省生态环境厅以建设和完善生态环境监管、服务和决策为重点,依托5G、云计算、大数据等先进数字技术,全力推进生态环境网络建设和监测工作。以三江源生态保护为契机,青海省生态环境厅携手天翼云,助力“生态之窗”远程高清实时视频观测系统上云建设,为全域生态环境保护工作打造了一扇高效统一的“云上窗口”。​环境监管日趋精细“生态之窗”如何“再进一步”“生态之窗”是青海省生态环境厅根据全省重点生态保护区域自然景观分布,以及野...阅读全文

Nginx工作原理

本文分享自天翼云开发者社区《Nginx工作原理》,作者:王****秀Nginx的进程模型Nginx服务器由一个Master进程和多个Worker进程组成:Master进程:管理Worker进程。对外接口:接收外部的操作(信号);对内转发:根据外部操作的不同,通过信号管理Worker;监听:监控Worker进程的运行状态,Worker进程异常终止后,自动重启Worker进程。Worker进程:所有Worker进程都是平等的,用于处理网络请求。进程数量:在nginx.conf中配置,一般设置为核心数,充分利用CPU资源,同时,避免进程数量过多,避免进程竞争CPU资源,增加上下文切换的损耗。HTTP连接建立和请求处理过程Nginx启动时,Master进程加载配置文件。Master进程,初始化监听的...阅读全文

博文 2023-10-30 16:07:23 Tianyiyun

Maven的-pl -am -amd参数学习 - hiv

昨天maven的deploy任务需要只选择单个模块并且把它依赖的模块一起打包,第一时间便想到了-pl参数,然后就开始处理,但是因为之前只看了一下命令的介绍,竟然花了近半小时才完全跑通,故记录此文。 假设现有项目结构如下 dailylog-parent|-dailylog-common|-dailylog-web 三个文件夹处在同级目录中 dailylog-web依赖dailylog-common dailylog-parent管理dailylog-common和dailylog-web。 根据资料已知: 参数 全称 释义 说明 -pl --projects Build specified reactor projects instead of all projects 选项后可跟随{grou...阅读全文

博文 2023-11-14 16:38:47 博客园

【Java集合】数据结构与集合的神秘联系,一文读懂!

上篇文章中我们对单列集合中常用的方法和遍历查询。通过本文章为我们解惑,好好的字符串用起来不就行了,为什么要用集合这些工具类?本篇文章将简要介绍数据结构,让读者了解它们在计算机中以何种结构方式存在。那么,什么是数据结构呢?下面我们来详细解释。 ## 数据结构 ### 1.1 数据结构有什么用? 数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。 通常情况下,精心选择的数据结构可以带来更高的运行或者存储效率。 ![image.png](http://static.itsharecircle.com/231107/780768685050bf3238e22caee5c12252.png) 数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文

XHR,ajax,axios,fetch之间的区别

生xhr对象 现代浏览器,最开始与服务器交换数据,都是通过XMLHttpRequest对象。它可以使用JSON、XML、HTML和text文本等格式发送和接收数据。 好处: 不重新加载页面的情况下更新网页 在页面已加载后从服务器请求/接收数据 在后台向服务器发送数据。 缺点: 使用起来也比较繁琐,需要设置很多值。 早期的IE浏览器有自己的内置对象,这样需要写兼容代码判断是否为XMLHttpRequest对象。 if (window.XMLHttpRequest) { // model browser xhr = new XMLHttpRequest() } else if (window.ActiveXObject) { // IE 6 and older xhr = new ActiveX...阅读全文

Linux 查看磁盘IO并找出占用IO读写很高的进程-腾讯云开发者社区

背景-线上告警线上一台服务器告警,磁盘利用率 disk.util > 90,并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下:1 # 如果没有 iostat 命令,那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知,vdb磁盘的 %util【IO】几乎都在100%,原因是频繁的读取数据造成的。其他字段说明Device:设备名称 tps:每秒的IO读、写请求数量,多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s):从设备读取的数据量,以每秒若干块(千字节、兆字节)表示。块相当于扇区,因此块大小为512字节。 Blk_wrt...阅读全文

博文 2023-11-06 18:57:33 腾讯云

JDBC快速入门:从环境搭建到代码编写,轻松实现数据库增删改查操作!

通过上篇文章我们已经对JDBC的基本概念和工作原理都有了一定的了解,本篇文章我们继续来探索如何从零开始,一步步搭建开发环境,编写代码,最后实现数据库的增删改查操作。 ## 一、开发环境搭建 首先,我们需要准备的开发环境有:Java开发工具包(JDK)、数据库(如MySQL)、数据库驱动(如MySQL Connector/J)。 #### 安装JDK: 你可以从Oracle官网下载适合你操作系统的JDK版本,按照提示进行安装即可。相信这个大家早已经安装过了,在这里就不再多说了。 #### 安装数据库: 同样在官网下载MySQL安装包,按照提示进行安装。安装完成后,需要创建一个数据库和表,用于后续的测试。 #### 下载数据库驱动: 在MySQL官网下载对应版本的MySQL Connector/...阅读全文

博文 2023-12-26 16:00:17 YDYXCODE

数据库入门:MySQL事务解析,如何轻松搞定数据一致性?

在日常开发中我们经常会遇到需要同时处理多个操作的情况,比如在购物时,我们需要同时完成支付和更新库存两个操作。这时,如果其中一个操作失败了,我们就需要进行回滚,以保证数据的一致性。 那么,如何在MySQL中实现这样的功能呢?答案就是——事务。下面我们就来介绍一下MySQL事务是什么?它是如何使用的? ## 一、什么是事务? ### 事务定义 - 事务是一个最小的不可再分的工作单元;通常一个事务对应一个完整的业务(例如银行账户转账业务,该业务是一个最小的工作单元)。 - 一个完整的业务需要批量的DML(insert、update、delete)语句共同联合完成。 - 事务只和DML语句有关,或者说DML语句才有事务。这个和业务逻辑有关,业务逻辑不同,DML语句的个数不同。 ### 事务是什么? ...阅读全文

[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统课程

[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1:https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2:https://share.weiyun.com/Tp6ewDIJ 密码:6crcwd 大家好,今天我将给大家分享关于如何开发一个数据库系统的知识,将从0到1手把手带着一步步去开发这个项目,希望我的分享对大家的学习和工作有所帮助,如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统(及其开发工具)、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能:DBMS提供数据定义语言(Data Definition La...阅读全文

博文 2023-11-29 14:23:57 giadnbhaytgw

云服务器比传统服务器更安全的原因与实现机制

本文分享自天翼云开发者社区《云服务器比传统服务器更安全的原因与实现机制》,作者:3****m随着互联网的普及和云计算技术的发展,越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比,云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因,探讨其实现机制。一、云服务器比传统服务器更安全的原因虚拟化技术云服务器采用虚拟化技术,将物理服务器上的资源(如CPU、内存、存储等)汇聚到一个虚拟的云中,然后通过网络对外提供服务。这种虚拟化技术可以隔离不同用户和业务,防止数据泄露和攻-击。同时,虚拟化技术还可以实现资源的动态调整和负载均衡,提高资源利用率和系统稳定性。容错技术云服务器通常采用容错技术,实现故障自动切换和负载均衡。当某个虚拟机出现故障时,系统会自动将其切...阅读全文

Rocksdb原理简介

本文分享自天翼云开发者社区《Rocksdb原理简介》,作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件(mysql、tikv、pmdk、bluestore)作为存储引擎底座,其基于LSM tree的核心存储结构(将随机写通过数据结构转化为顺序写)来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。​涉及到的几个核心文件:WALWriteAheadLog,rocksdb的日志,保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后,之前WAL的会被清理,即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构,一个是内存中的memtable...阅读全文

博文 2023-05-25 09:13:56 Tianyiyun

玩转云端 | 多云时代,数据管理就该这么“库”!

随着上云成为普遍趋势、企业需求的多样化发展,单一的云模式已经无法满足企业用户的复杂需求,单云模式下深度绑定一朵云所带来的成本不确定性以及安全风险日益增加。数据显示,超过92%的企业计hua选择多云的上云方案。天翼云作为云服务国家队,凭借在资源充裕度、网络覆盖范围、产品安全性和实施性价比等方面的独特优势,成为企业部署多云架构时的首-选。多云方案中备份与迁移是较为常见的实施手段,是指将生产数据以实时同步的方式从一朵云备份到其他云中。生产数据种类很多,包括数据库、文件、文本、日志等,其中数据库是最为重要的一种。因此,企业的多云方案往往从数据库开始。企业部署多云数据库时,仅需购买相同类型或规格更小的云数据库,再使用天翼云数据传输服务TeleDB-DTS(后称天翼云DTS)将其他云的数据库实时同步到天...阅读全文

7-文件IO

1. 阻塞 IO通常来说,从普通文件读数据,无论你是采用 fscanf,fgets 也好,read 也好,一定会在有限的时间内返回。但是如果你从设备,比如终端(标准输入设备)读数据,只要没有遇到换行符(’\n’),read 一定会“堵”在那而不返回。还有比如从网络读数据,如果网络一直没有数据到来,read 函数也会一直堵在那而不返回。read 的这种行为,称之为 block,一旦发生 block,本进程将会被操作系统投入睡眠,直到等待的事件发生了(比如有数据到来),进程才会被唤醒。系统调用 write 同样有可能被阻塞,比如向网络写入数据,如果对方一直不接收,本端的缓冲区一旦被写满,就会被阻塞。1.1 阻塞读终端实验代码// 文件名:blockdemo.c#include 阅读全文

博文 2023-05-15 10:06:01 阻塞与非阻塞IO_51CTO博客_阻塞io和非阻塞io区别

万字长文详解HBase读写性能优化_51CTO博客_hbase 读写性能

一、HBase 读优化 1. HBase客户端优化 和大多数系统一样,客户端作为业务读写的入口,姿势使用不正确通常会导致本业务读延迟较高实际上存在一些使用姿势的推荐用法,这里一般需要关注四个问题: 1) scan缓存是否设置合理? 优化原理:在解释这个问题之前,首先需要解释什么是scan缓存,通常来讲一次scan会返回大量数据,因此客户端发起一次scan请求,实际并不会一次就将所有数据加载到本地,而是分成多次RPC请求进行加载,这样设计一方面是因为大量数据请求可能会导致网络带宽严重消耗进而影响其他业务,另一方面也有可能因为数据量太大导致本地客户端发生OOM。在这样的设计体系下用户会首先加载一部分数据到本地,然后遍历处理,再加载下一部分数据到本地处理,如此往复,直至所有数据都加载完成。数据加载...阅读全文

博文 2024-01-11 19:59:06 blog.51cto.com

【完结11章】技术大牛成长课,从0到1带你手写一个数据库系统

【完结11章】技术大牛成长课,从0到1带你手写一个数据库系统 给大家分享一套数据库课程——技术大牛成长课,从0到1带你手写一个数据库系统,课程已完结,共11章,附源码。 数据库系统是为适应数据处理的需要而发展起来的一种较为理想的数据处理系统,也是一个为实际可运行的存储、维护和应用系统提供数据的软件系统,是存储介质 、处理对象和管理系统的集合体。 如果分片数据损坏,无法修复,比如某个磁盘坏了,这时候数据无法修复,为了恢复索引状态,可以允许分片的数据丢失,后续通过上层数据来重建索引,这时候我们可以增加 accept_data_loss参数来允许分片数据丢失 POST /_cluster/reroute { "commands": [ { "move": { "index": "test_inde...阅读全文

Kafka之ISR机制的理解

Kafka对于producer发来的消息怎么保证可靠性? 每个partition都给配上副本,做数据同步,保证数据不丢失。 副本数据同步策略 和zookeeper不同的是,Kafka选择的是全部完成同步,才发送ack。但是又有所区别。 所以,你们才会在各种博客看到这句话【kafka不是完全同步,也不是完全异步,是一种ISR机制】 这句话对也不对,不对也对(谜语人......) 首先笔者认为:Kafka使用的就是完全同步方案。 完全同步的优点 同样为了容忍 n 台节点的故障,过半机制需要 2n+1 个副本,而全部同步方案只需要 n+1 个副本, 而 Kafka 的每个分区都有大量的数据,过半机制方案会造成大量数据的冗余。(这就是和zookeeper的不同) 完全同步会有什么问题? 假设就有这么...阅读全文

博文 2023-12-26 15:42:49 CSDN博客

列式云数据库与关系型云数据库:区别、优缺点与选择

本文分享自天翼云开发者社区《列式云数据库与关系型云数据库:区别、优缺点与选择》,作者:3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据,将同一列的数据存储在一起,每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景,因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型,以行为单位组织数据,每个表由多个行组成,每个行由多个列组成,通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持,适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分,因此在执行查询时可以仅扫描所需的列,避免了全表扫描的...阅读全文

JDBC快速入门:看我如何用JDBC数据库连接池,轻松解决大量并发请求问题!

我们已经知道JDBC是Java语言中用来规范客户端程序如何访问数据库的应用程序接口,也是大多数Java开发者与数据库打交道的必备工具。但是,你是否知道,JDBC在处理大量并发请求时,可能会遇到一些问题?这就是我们今天要讨论的主题——JDBC数据库连接池。 首先,让我们来了解一下什么是数据库连接池。 ## 一、数据库连接池简介 JDBC连接池,全称为Java多线程数据库连接池,是一种用于管理数据库连接的技术。其主要作用是减少每次请求时创建和释放数据库连接的开销,以此提高系统性能。 在应用程序和数据库之间,JDBC连接池会建立一个连接池,当需要访问数据库时,无需每次都重新创建连接,而是直接从池中获取已有的连接。 ![image.png](http://static.itsharecircle.c...阅读全文

hbase2.1.x 压缩算法

说明作用减少数据体积,可以存储更多的数据 缺点压缩/解压缩需要 大量计算,消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩,再落盘,从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ(GZIP)GZIP 压缩率最高,但是其实CPU密集型的,对CPU的消耗比其他算法要多,压缩和解压速度也慢 用于冷数据存储,要求数据访问不频繁 默认支持 LZOLZO的压缩率居中,比GZIP要低一些,但是压缩和解压速度明显要比GZIP快很多,其中解压速度快的更多 用于热数据存储,数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文

博文 2024-01-18 19:15:36 马育民老师

前三! 前三!! 前三!!!

​11月2日,国际数据公司(IDC)最新发布的《中国公有云服务市场(2023上半年)跟踪》报告显示,在中国公有云IaaS市场,中国电信天翼云份额占比再度大幅攀升,稳居业内前三;同时,在公有云IaaS+PaaS市场,天翼云同样增势强劲,以领先优势,位列第三。从中国企业和MNC使用国内公有云IaaS资源的市场角度来看,中国电信天翼云排名第三。​天翼云强劲增势离不开持续的科技创新与行业赋能。作为云服务国家队,天翼云在持续优化算力资源布局的基础上,全面突破云操作系统、分布式数据库等关键核心技术,以云操作系统为核心,从底层基础软硬件技术,到上层高阶云能力,实现了全栈技术的自主可控,打造了具备“科技创新、自主可控、安全可信、云网融合、生态开放、绿色低碳”六大特征的国家关键信息基础设施平台,为各行业数字化...阅读全文

博文 2023-11-09 17:43:12 Tianyiyun

中国电信天翼云全国产化大数据平台落地广西!

近期,中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作,通过天翼云大数据平台翼MR、CTyunOS操作系统等产品,构建了集数据湖和批流一体处理能力的大数据平台。​该大数据平台的重要组成部分,天翼云大数据平台翼MR,是基于云原生技术打造的,集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来,天翼云大数据平台翼MR逐步整合拓展大数据生态组件,自主研发重构大数据基础存储与计算等核心能力,为客户提供一站式的企业级大数据平台。目前,天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控,打造了基于软硬协同架构的高性能计算引擎,拥有国产化生态下业界领先的极-致性能。​平台的成功上线,体现了天翼云在大数据自...阅读全文

让数据要素合规高效流通!海南这么干!

1月4日,国家数据局会同中央网信办、科技部、工业和信息化部等17个部门联合印发《“数据要素×”三年行动计划(2024—2026年)》,旨在充分发挥数据要素乘数效应,赋能经济社会发展。在推动发挥数据要素乘数效应,释放数据要素价值的攻坚路上,海南省一直走在前面。近日,海南省大数据管理局印发全国首部明确开展数据产品所有权确权登记的政策文件《海南省数据产品超市数据产品确权登记实施细则(暂行)》(以下简称《实施细则》),率先探索确定数据产品所有权,从源头上解决数据产品后续资产化、资本化应用,促进数据资源开发利用。基于全省统一的数据产品开发利用、流通交易平台——海南省数据产品超市,《实施细则》进一步明确数据产品所有权的确权登记流程,引导数据产品进行权属确认、流转备案,探索数据资产化、资本化管理。遵循依法...阅读全文

HBase模式设计是需要注意的问题

HBase模式设计是需要注意的问题:1.设计准则1)行键设计读访问模式:通过行键索引提升查询效率。HBase中唯一可用的索引只有行键索引,需要对行键精心设计来尽可能地优化数据查询。某项数据放在行键中会得到更好的查询性能,但是行键的长度变长,行键索引会占用更多的内存资源,由于行键在每个列族中保存,也会需要更多的磁盘空间。写访问模式:避免同一时间段里写入的数据形成热点。随机前缀:在原先彼此相邻的行键前面加上一个随机生成的前缀。哈希前缀:针对随机前缀生成的行键具有不确定性的缺陷,哈希前缀做了改进,通过对原行键调用选定的哈希函数生成前缀。反转键:将原先彼此相邻的行键按字节序反转生成新的行键。以上几种策略都会失去数据按特定行键顺序存放的特性,在进行范围查询时需要访问全部索引数据且需要有更多的磁盘IO操...阅读全文

博文 2024-01-09 17:38:06 云创智学

燃!中国电信天翼云黑科技为智慧海关建设插上云翅膀!

近日,2023年海关科技装备博览会(简称“关博会”)在北京举办。中国电信围绕“数字政务助力海关事业发展”主题,在主展区展出了数字政务最新成果和实践经验。​2023年海关科技装备博览会中国电信展区展区汇集了数字底座、政务数据服务体系、大模型·一网通办-12345政务热线平台、一网协同平台、5G+智慧海关、量子产业布局、卫星手机直连等10余个展项,充分展现了中国电信在数字政务领域富有成效的探索及取得的阶段性成果。自主可控“国云”底座天翼云提供全栈自主可控、一云多芯的安全可靠云基础设施,可以在智慧海关的关键业务领域提供基础底座服务,满足客户技术升级要求,形成基于天翼云的数字信息基础,助力客户实现“多方共识、多元治理、协同共治”的治理局面。一体化智能算力平台为了向政务应用提供安全可靠的算力服务,天翼...阅读全文

博文 2023-12-08 18:08:40 Tianyiyun

份额大涨! 天翼云稳居中国公有云laaS市场、laaS+PaaS市场第三!

近日,国际数据公司(IDC)最新发布的《公有云市场数据跟踪,2023Q3》报告显示,在公有云整体市场增速全面收紧的背景下,中国电信天翼云市场份额大涨,中国公有云IaaS市场份额增长至12.9%,同比增长1.3pp,公有云IaaS+PaaS市场份额增长至11.6%,同比增长1.4pp,天翼云以强劲增势稳居第三。​作为云服务国家队,天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念,以科技创新持续夯实国云底座,赋能数字经济高质量发展。经过十余年行业积累,2023年,天翼云作为国家云的框架全面成型。在资源布局方面,天翼云已形成“2+4+31+X”全国资源布局,织就全国算力“一张网”,构建了“中心-省-边缘-端”的四级算力布局体系,可为各地用户提供高速泛在的算力,让用户使用算力像水电一样...阅读全文

MyBatis实战指南(二):工作原理与基础使用详解

MyBatis是一个优秀的持久层框架,它支持定制化SQL、存储过程以及高级映射。那么,它是如何工作的呢?又如何进行基础的使用呢?本文将带你了解MyBatis的工作原理及基础使用。 ## 一、MyBatis的工作原理 ### 1.1 MyBatis的工作原理 工作原理图示: ![image.png](http://static.itsharecircle.com/240111/fb3da40016d1dcdc2b11db5767113d68.png) **1、读取MyBatis配置文件** mybatis-config.xml为MyBatis的全局配置文件,配置了MyBatis的运行环境等信息,例如数据库连接信息。 **2、加载映射文件(SQL映射文件,一般是XXXMapper.xml)** ...阅读全文

博文 2024-01-11 14:49:32 YDYXCODE

hbase配置副本数为2_mob64ca12e58adb的技术博客_51CTO博客

HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中,数据以表的形式组织,每个表可以有多个列族,每个列族可以包含多个列。HBase以行的方式存储数据,并使用Hadoop的HDFS作为底层存储。 在HBase中,可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中,每个数据块的副本数量。当某个数据块不可用时,HBase可以从其他副本中读取数据,保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码: import org.apache.hadoop.conf.Configuration; import org....阅读全文

博文 2024-01-18 18:49:00 blog.51cto.com

彰显科技硬实力!天翼云论文在国际顶刊JoCCASA发表!

近日,由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing:Advances,Systems and Applications(JoCCASA)发表。​JoCCASA是全球最大科学出版社之一的德国Springer(施普林格)旗下刊物,SCI JCR分区为2区,近5年影响因子4.4。此次论文在JoCCASA上的发表,代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文

连续四次登顶!天翼云稳居中国专属云服务市场第一

​近日,国际数据公司IDC发布的《中国专属云服务市场(2023上半年)跟踪》报告显示,2023上半年,专属云服务市场同比增长26.6%。中国电信天翼云以18.7%的份额占比稳居中国专属云服务市场第一,连续四次登顶,持续领跑中国专属云服务市场。​全面数字化浪潮推动下,随着合规要求的趋严、敏捷性需求的增加,以及生成式AI的火热,具备极-致安全与敏捷可靠等独特性能优势的专属云,逐渐成为产业数智化转型的优选,市场需求持续释放。天翼云作为云服务国家队,以科技创新持续夯实国云底座,赋能千行百业数字化转型,目前已形成“2+4+31+X+O”的整体资源布局,并实现了全栈技术的自主可控,打造了“云网边端数智安”全栈云服务产品体系,为海内外客户提供包括公有云、专属云、私有云、边缘云等多类型的高品质云服务。天翼专...阅读全文

Prometheus入门与进阶实践教程2024

![1.png](http://static.itsharecircle.com/240222/367d7a4681ca99938b121de782eaaa42.png) 一、Prometheus的概念和发展史 Prometheus是一个开源的完整监控解决方案,本文将从指标抓取到查询及可视化展示,以及最后的监控告警,对Prometheus做一个基本的认识。 Prometheus发展速度很快,12年开发完成,16年加入CNCF,成为继K8s之后第二个CNCF托管的项目,目前Github 42k的 ,而且社区很活跃,维护频率很高,基本稳定在 1个月1个小版本的迭代速度。 二、Prometheus的特点 多维数据模型:由度量名称和键值对标识的时间序列数据 时序数据,是在一段时间内通过重复测量(me...阅读全文

博文 2024-02-22 17:17:32 feilipu2023nui

实战Flink+Doris实时数仓

![1.png](http://static.itsharecircle.com/240304/0bee3e847130667ea81a698fb428806a.png) 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统,主要整合了 Google Mesa(数据模型),Apache Impala(MPP Query Engine) 和 Apache ORCFile (存储格式,编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa(数据模型),Apache Impala(MPP Query Eng...阅读全文

博文 2024-03-04 09:04:32 gaindiuhgw

掌握Redis核心:常用数据类型的高效运用秘籍!

在数据驱动的时代,高效地存储和处理数据成为了开发者们的重要任务。Redis,作为一个开源的高性能键值对(key-value)数据库,以其独特的数据结构和丰富的功能,成为了众多项目的首选。 今天,我们就来揭开Redis的神秘面纱,看看它是如何通过不同的数据类型,为我们提供高效、灵活的数据存储和处理能力的。 ### 一、字符串(String):数据的基石 #### String类型简介 字符串是Redis最基本的数据类型,它可以存储文本、数字或者二进制数据。 使用字符串类型,你可以执行原子性的操作,如追加(APPEND)、设置(SET)和获取(GET)。例如,你可以将用户信息作为字符串存储,并通过键快速检索。 - 一个key对应一个value。 - String类型是二进制安全的。只要内容可以使...阅读全文

博文 2024-02-22 17:31:10 YDYXCODE

npm install XXX 、package.json 中的bin、node_moduels 下.bin目录三者关系_node_modules bin 文件怎么创建

官方链接 npm install xxx会在node_modules下安装对应的依赖,如果安装的依赖下面的package.json目录里面有bin配置, 比如cross-env 那么就会在node_modules目录下的.bin目录生成对应的脚本文件 所以我们可以在package.json中的scripts中使用对应的脚本。 官方翻译 bin 许多软件包都有一个或多个可执行文件,他们希望将它们安装到 PATH 中。npm 使这非常容易(事实上,它使用此功能来安装“npm”可执行文件。) 要使用它,bin请在 package.json 中提供一个字段,该字段是命令名称到本地文件名的映射。安装时,npm 会将该文件符号链接到 prefix/bin全局安装或./node_modules/.bin/...阅读全文

博文 2024-02-12 20:37:02 CSDN博客

Mysql设置binlog过期时间并自动删除 - Ruthless

Mysql设置binlog过期时间并自动删除 问题: Mysql数据库由于业务原因,数据量增长迅速,binlog日志会增加较多,占用大部分磁盘空间。 解决方案: 出于节约空间考虑,可进行删除多余binary日志,并设置定期删除操作。 1、查看binlog过期时间 mysql> show variables like 'expire_logs_days'; 或者 mysql> select @@global.expire_logs_days; +------------------+-------+ | Variable_name | Value | +------------------+-------+ | expire_logs_days | 0 | +-----------------...阅读全文

博文 2024-02-20 18:05:46 博客园