 一、什么是Doris Doris 是一个 MPP 的 OLAP 系统，主要整合了 Google Mesa（数据模型），Apache Impala（MPP Query Engine) 和 Apache ORCFile (存储格式，编码和压缩) 的技术。 二、Doris得作用 1、对数据分析、统计 2、报表 3、多维分析 4、Doris 是从百度内部自主研发并贡献到 Apache 开源社区的 ROLAP 数据库。 5、Doris 整合了 Google Mesa（数据模型），Apache Impala（MPP Query Eng...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。 Region切分触发策略 在最新稳定版（1.2.6）中，HBase已经有多达6种切分触发策略。当然，每种触发策略都有各自的适用场景，用户可以根据业务在表级别选择不同的...阅读全文
本文分享自天翼云开发者社区《全栈混合云综合架构方案研究和落地》，作者: y****n 链接： https://www.ctyun.cn/developer/article/354717063266373 (一)业务背景 随着云服务的便利性日益被市场接受，企业客户越来越倾向采用公有云服务补充其现有的企业内部部署的数据中心和私有云基础架构的不足。因此，混合云成为云服务市场的重要发展趋势。广义上讲，混合云的形态可以包括云与云的组合、云与传统IT系统的组合、云与虚拟化技术的组合等，它们可根据具体业务场景需求使用混合IT方式解决具体问题；狭义上讲，混合云指的是至少使用了两种不同部署模式（公有云、私有云、社区云）的云服务。当前，应用较多的混合云形式为公有云+私有云的组合。 现有混合云管理方法主要解决以下...阅读全文
一、概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二、HBase 写链路简要分析HBase 的写入链路基于 LSM（Log-Structured Merge-Tree), 基本思想是把用户的随机写入转化为两部分写入：Memstore 内存中的 Map, 保存随机的随机写入，待 memstore 达到一定量的...阅读全文
本文首发于 vivo互联网技术 微信公众号链接： https://mp.weixin.qq.com/s/qayKiwk5QAIWI7-nyD3FVA作者：DuZhimin随着互联网、尤其是物联网的发展，我们需要把各种类型的终端实时监测、检查与分析设备所采集、产生的数据记录下来，在有时间的坐标中将这些数据连点成线，往过去看可以做成多纬度报表，揭示其趋势性、规律性、异常性;往未来看可以做大数据分析，机器学习，实现预测和预警。这些数据的典型特点是：产生频率快（每一个监测点一秒钟内可产生多条数据）、严重依赖于采集时间（每一条数据均要求对应唯一的时间）、测点多信息量大（实时监测系统均有成千上万的监测点，监测点每秒钟都产生数据，每天产生几十GB的数据量）。基于时间序列数据的特点，关系型数据库无法满足对时...阅读全文
 大家都知道医疗行业是互联网发展前景极好的领域之一，对于初入职者、转行者来说都是很好的选择，今天我将给大家讲解一个关于健康+体检双系统的项目，项目以业务驱动技术栈，打造完整、全面的双系统项目，并采用前后端分离架构，业务功能完善，界面美观，可以高效积累大型医疗项目经验，快速提升医疗行业就业竞争力。 项目开始前，我们先来安装JDK 如果你本地有其他版本的JDK，一定要先卸载所有JDK，然后再安装JDK15.0.2，并且配置`PATH`和`JAVA_HOME`环境变量，否则JDK版本会出现错乱。 第二步就是部署Maven工具 配置...阅读全文
1. 前言 相信你经常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼，那么今天就来把这几个数据库常用术语搞清楚，同时也记录一下。 2. 读写分离 这个相对比较好理解一些，就是将数据库分为主从库，一个主库（Master）用于写数据，多个从库（Slaver）进行轮询读取数据的过程，主从库之间通过某种通讯机制进行数据的同步，是一种常见的数据库架构。下面这张图就展示了 “一主二从” 的结构： 2.1 为什么要读写分离 大多数互联网数据操作往往都是读多写少，随着数据的增长，数据库的“读”会首先成为瓶颈。如果我们希望能线性地提升数据库的读性能和写性能，就需要让读写尽可能的不相互影响，各自为政。在使用读写分离之前我们应该考虑使用缓存能不能解决问题。然后再考虑对数据库按照...阅读全文
本文分享自天翼云开发者社区《数据如何同步到云服务器》，作者：每日知识小分享随着云计算技术的快速发展，越来越多的企业和个人选择将他们的数据和应用程序存储在云服务器上。然而，将数据同步到云服务器是一个复杂的过程，需要一定的技术知识和规划。本文将介绍数据同步到云服务器的最-佳做法，包括数据备份、数据恢复、数据迁移等方面。一、数据同步的概念数据同步是指将数据从一个地方复制或传输到另一个地方，以保证数据的完整性和一致性。在云服务器中，数据同步通常指将本地数据备份到云服务器中，或者将云服务器中的数据恢复到本地或者其他云服务器中。二、数据同步的分类数据备份数据备份是指将本地数据备份到云服务器上，以防止本地数据丢失或损坏。在备份过程中，需要选择合适的备份软件和备份策略，以确保备份数据的完整性和可靠性。同时，...阅读全文
12月27日，由中国信息通信研究院、中国通信标准化协会主办的2023系统稳定性与精益软件工程大会-云服务稳定性保障技术专场暨稳定性保障实验室年会在北京举行。会上，天翼云携手中国信通院以及业界多家头部机构，共同发布《可观测性技术发展研究报告》；“天翼云底座可观测能力建设实践”荣获第二届云系统稳定安全运行优秀案例“可观测性实践优秀案例”证书。在业务系统SRE实践专场，天翼云操作系统TeleCloudOS 4.0斩获“混沌工程成熟度水平检验证书”，天翼云科技有限公司运维专家赵磊在会上分享了天翼云基于全栈监控的运维实践。坚持科技创新云服务安全稳定性获业界认可随着数字技术不断发展，现代信息系统通常呈现出规模巨大、结构复杂、采用分布式架构等特点，传统的系统监控和调试方法难以满足全面观测和管理的需求，给故...阅读全文
download：https://www.daxiacode.com/7446.html【资源目录】:| ├──1–django 简介.mp4 1.65G| ├──10–权限分配.mp4 637.10M| ├──11–批量操作.mp4 1011.98M| ├──12–权限分配实现.mp4 696.79M| ├──13–rbac组件.mp4 804.36M| ├──14–stark组件(上).mp4 699.82M| ├──15–stark组件(下).mp4 635.81M| ├──16–CRM项目开发(上).mp4 362.90M| ├──2–路由匹配与函数视图.mp4 1.36G| ├──3–数据模型.mp4 1.56G| ├──4–数据查询与网络请求.mp4 1.22G| ├──5–网络...阅读全文
[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1：https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 大家好，今天我将给大家分享关于如何开发一个数据库系统的知识，将从0到1手把手带着一步步去开发这个项目，希望我的分享对大家的学习和工作有所帮助，如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能：DBMS提供数据定义语言（Data Definition La...阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文
 SpringBoot+Vue3+MySQL集群 开发健康体检双系统课程2023，视频+源码+电子书下载！ 医疗行业是互联网发展前景极好的领域之一，对于初入职者、转行者来说都是很好的选择。课程以业务驱动技术栈，打造完整、全面的双系统项目，并采用前后端分离架构，业务功能完善（健康体检与健康管理两大业务），界面美观，可以高效积累大型医疗项目经验，快速提升医疗行业就业竞争力。 高效积累大型复杂项目实战经验，快速提升医疗行业就业竞争力 全流程双系统复杂项目实战 含MIS系统、体检人系统在内的 前后端分离式全栈双系统作品 主流框架+最...阅读全文
本文分享自天翼云开发者社区《Rocksdb原理简介》，作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件（mysql、tikv、pmdk、bluestore）作为存储引擎底座，其基于LSM tree的核心存储结构（将随机写通过数据结构转化为顺序写）来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。涉及到的几个核心文件：WALWriteAheadLog，rocksdb的日志，保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后，之前WAL的会被清理，即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable...阅读全文
背景-线上告警线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的。其他字段说明Device：设备名称 tps：每秒的IO读、写请求数量，多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s)：从设备读取的数据量，以每秒若干块(千字节、兆字节)表示。块相当于扇区，因此块大小为512字节。 Blk_wrt...阅读全文
引言在 Java 编程中，理解类加载器的机制对开发复杂的应用和工具非常重要，尤其是在涉及 Java Agent 这样高级技术时更是如此。在本文中，我们将深入探讨 Java 类加载器的工作机制，并通过一个实际的 Java Agent 示例来展现如何解决类加载的问题。类加载器概述Java 的类加载器是负责将类文件加载到 JVM 中的组件。类加载器的工作分为三个主要的过程：加载、链接和初始化。类加载器通常按以下层次结构工作：引导类加载器（Bootstrap ClassLoader）：JVM 自带的类加载器，用于加载核心类库如 java.lang.*。扩展类加载器（Extension ClassLoader）：加载扩展目录中的类库应用类加载器（App ClassLoader）：加载应用的类路径中的类...阅读全文
近日，国际数据公司（IDC）最新发布的《公有云市场数据跟踪，2023Q3》报告显示，在公有云整体市场增速全面收紧的背景下，中国电信天翼云市场份额大涨，中国公有云IaaS市场份额增长至12.9%，同比增长1.3pp，公有云IaaS+PaaS市场份额增长至11.6%，同比增长1.4pp，天翼云以强劲增势稳居第三。作为云服务国家队，天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念，以科技创新持续夯实国云底座，赋能数字经济高质量发展。经过十余年行业积累，2023年，天翼云作为国家云的框架全面成型。在资源布局方面，天翼云已形成“2+4+31+X”全国资源布局，织就全国算力“一张网”，构建了“中心-省-边缘-端”的四级算力布局体系，可为各地用户提供高速泛在的算力，让用户使用算力像水电一样...阅读全文
### 前言 通过Java基础的学习，我们掌握了主要的Java语言基本的语法，同时了解学习了Java语言的核心-面向对象编程思想。 从集合框架开始，也就是进入了java这些基础知识及面向对象思想进入实际应用编码的过程，通过jdk中集合这部分代码的阅读学习，就能发现这一点。 本计划在这篇中把框架体系和一些集合的常用方法一起编写。仔细考虑之后，本着不让突出重点，结构清晰的思路，所以把框架体系单独拉出来，为让各位看官对java的集合框架有个清晰的认识，最起码记住常用的几种常用实现类！ 好的，我们进入正题。 ### 集合的框架体系结构 可以在很多书籍或者教程中看到，JAVAEE进阶知识的学习，JDK中提供了满足各种需求的API，主要是让我们去学习和了解它提供的各种API，在使用这些API之前，我们往...阅读全文
1简介 在工作中，有一种常见的场景是要安装一个系统，这个系统可能安装好了开发环境、环境变量配置、网卡驱动等设置，如果要重新安装一个一模一样的系统，会非常复杂，在这个场景下我们就可以借助工具，即dd命令来完整把这个系统拷贝到另外一个硬盘上，dd命令会完整的拷贝文件系统，分区，网卡，系统配置等信息到另外的硬盘上，这样把这个携带一模一样的硬盘安装到另外的服务器上，只要在开机时，指定启动项，即可进入一个安装好的一模一样的环境，这时只要修改一下ip即可正常使用，省时省力。 2操作步骤 2.1命令集合 2.1.1 fdisk 分区是将一个硬盘驱动器分成若干个逻辑驱动器，分区是把硬盘连续的区块当做一个独立的磁硬使用。分区表是一个硬盘分区的索引,分区的信息都会写进分区表。 fdisk主要作用是进行分区表控制...阅读全文
本文分享自天翼云开发者社区《一种通过延迟事务提升数据库性能的方法》,作者:唐****律一、背景在数据库代理层中，写节点的数据库连接是一种很重要和稀缺的资源，提升其利用率是一个提升数据库整体性能的重要手段。数据库连接占用过高会大幅增加数据库的资源负担，降低数据库的处理能力。通过延迟启动的事务，可以减少不必要的连接占用时长，提升数据库连接利用率。在用户通过代理层使用数据库的时候，如果提交了一条只读查询，那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务，那么在用户提交或者回滚事务之前，该连接不能归还到连接池，大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中，只读查询语句的查询结果是不可重复的，这时如果事务中没有其它写操作，...阅读全文
HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文
上篇文章中我们对单列集合中常用的方法和遍历查询。通过本文章为我们解惑，好好的字符串用起来不就行了，为什么要用集合这些工具类？本篇文章将简要介绍数据结构，让读者了解它们在计算机中以何种结构方式存在。那么，什么是数据结构呢？下面我们来详细解释。 ## 数据结构 ### 1.1 数据结构有什么用？ 数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。  数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文
Prometheus入门与进阶实践（2024最新） 分享一套课程——Prometheus入门与进阶实践（2024最新），附PDF课件+源码下载。 1、什么是Prometheus Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标处收集监控数据，并暴露出一个HTTP接口供Prometheus server查询，Prometheus通过基于HTTP的pul...阅读全文
近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布了“2023年度数据要素价值创新标杆示范案例”评选结果，天翼云“海南省数据产品超市公共数据资源开发利用平台”与“福州市公共数据要素流通平台”获此殊荣，为推动数据要素市场化配置、助力数据要素价值释放树立了行业标杆。天翼云相关专家出席会议并分享了天翼云加速向智能云全面升级，在智算服务体系建设、数据要素平台技术创新方面的实践和成果。今年，“人工智能+”首次写入政府工作报告，全面驱动产业数智化升级。作为云服务国家队，天翼云立足全栈自研的技术体系、行业领先的产品服务、安全可信的运营能力，不断巩固和强化竞争优势。没有...阅读全文
本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持，适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分，因此在执行查询时可以仅扫描所需的列，避免了全表扫描的...阅读全文
近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。该大数据平台的重要组成部分，天翼云大数据平台翼MR，是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来，天翼云大数据平台翼MR逐步整合拓展大数据生态组件，自主研发重构大数据基础存储与计算等核心能力，为客户提供一站式的企业级大数据平台。目前，天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控，打造了基于软硬协同架构的高性能计算引擎，拥有国产化生态下业界领先的极-致性能。平台的成功上线，体现了天翼云在大数据自...阅读全文
说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文
张松然 10余年资深架构经验，对高性能网关、多线程、NIO、HTTP/TCP 长连接等技术有较深的研究与实战经验，主导过百亿级网关系统和亿级交易系统的设计与实现，目前主要专注于微服务架构、分布式技术...阅读全文
近日，由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing：Advances,Systems and Applications（JoCCASA）发表。JoCCASA是全球最大科学出版社之一的德国Springer（施普林格）旗下刊物，SCI JCR分区为2区，近5年影响因子4.4。此次论文在JoCCASA上的发表，代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文
夏天马上就要到了，“瘦身”不光是特定人群的需求，也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心，更有效地支撑经济社会数字化转型，已成为业界主流趋势。如何让数据中心“热辣瘦身”？轻量级存储集群控制器——天翼云存储资源盘活系统HBlock必不可少！“HBlock健身房”究竟是如何发挥功效的？三大招式出击，助力数据中心迅速“逆袭”！第一大招“混合部署”让数据中心精简紧凑，原地“暴瘦”！HBlock作为全用户态的轻量级存储集群控制器，可以和别的业务系统混合部署在同一台服务器内，实现服务器总数量减少。HBlock还可以盘活服务器本地的磁盘，当作高可用虚拟盘提供给服务器现有业务，在3节点起步的轻量集群同时实现计算高可用和存储高可用！例如，某企业有100台资源利用率为50%、单台可用空...阅读全文
Spring Cloud Alibaba: 实现服务的无损下线功能作者：谁偷走了我的奶酪2024.01.18 02:49浏览量：2简介：在微服务架构中，服务的上线和下线是一个常见的操作。然而，直接关闭服务可能会导致数据丢失或服务中断。本文将介绍如何使用Spring Cloud Alibaba实现服务的无损下线功能。在微服务架构中，服务的上线和下线是一个常见的操作。但是，直接关闭服务可能会导致数据丢失或服务中断，这被称为“有损下线”。为了解决这个问题，我们可以使用Spring Cloud Alibaba提供的解决方案来实现服务的无损下线。无损下线的原理是在服务关闭之前，将所有待处理的任务或者请求全部处理完成，保证服务的正常运行，然后再安全地关闭服务。这样就可以避免数据丢失和服务中断的问题。要实...阅读全文
作者：vivo互联网服务器团队-Wang Fei一、背景名单管理系统是手机上各个模块将需要管控的应用配置到文件中，然后下发到手机上进行应用管控的系统，比如各个应用的耗电量管控；各个模块的管控应用文件考虑到安全问题，有自己的不同的加密方式，按照以往的经验，我们可以利用模板方法+工厂模式来根据模块的类型来获取到不同的加密方法。代码类层次结构示意如下:获取不同加密方法的类结构图利用工厂模式和模板方法模式，在有新的加密方法时，我们可以通过添加新的handler来满足"对修改关闭，对扩展开放"的原则，但是这种方式不可避免的需要修改代码和需要重新发版本和上线。那么有没有更好的方式能够去解决这个问题，这里就是我们今天要重点讲的主题。二、类加载的时机 一个类型从被加载到虚拟机内存中开始，到卸载出内存为止，它...阅读全文
本文分享自天翼云开发者社区《云服务器比传统服务器更安全的原因与实现机制》，作者：3****m随着互联网的普及和云计算技术的发展，越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比，云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因，探讨其实现机制。一、云服务器比传统服务器更安全的原因虚拟化技术云服务器采用虚拟化技术，将物理服务器上的资源（如CPU、内存、存储等）汇聚到一个虚拟的云中，然后通过网络对外提供服务。这种虚拟化技术可以隔离不同用户和业务，防止数据泄露和攻-击。同时，虚拟化技术还可以实现资源的动态调整和负载均衡，提高资源利用率和系统稳定性。容错技术云服务器通常采用容错技术，实现故障自动切换和负载均衡。当某个虚拟机出现故障时，系统会自动将其切...阅读全文
本文分享自天翼云开发者社区《如何在弹性云主机上部署高效的数据库系统》，作者：二进制诗人在当今云计算的时代，弹性云主机（Elastic Cloud Compute, EC2）为我们提供了前所未有的灵活性和扩展性，使得在云端部署高效的数据库系统成为可能。本文将从选择合适的云服务配置、优化数据库配置、数据备份与恢复策略以及保障数据库安全四个方面分享如何在弹性云主机上部署高效的数据库系统。1.选择合适的云服务配置选择合适的实例类型弹性云主机提供了多种实例类型，针对不同的用途（如计算优化、内存优化等）。对于数据库系统，通常需要考虑内存优化或存储优化的实例类型，例如AWS的R5实例（内存优化）或I3实例（存储优化）。配置高性能存储数据库性能很大程度上取决于存储性能。推荐使用SSD（固态硬盘）作为数据库的...阅读全文
随着我国经济实力高速增长和人民生活水平不断提高，加大生态环境保护力度，以良好的生态环境为高质量发展赋能已成为社会共识。在全球数字化浪潮下，运用数字技术建设高效协同的环境治理新形态，提升生态环境统揽全局、监测感知、预警预报、形势分析等能力，是推进生态环境治理能力现代化的主要途径。近年来，青海省生态环境厅以建设和完善生态环境监管、服务和决策为重点，依托5G、云计算、大数据等先进数字技术，全力推进生态环境网络建设和监测工作。以三江源生态保护为契机，青海省生态环境厅携手天翼云，助力“生态之窗”远程高清实时视频观测系统上云建设，为全域生态环境保护工作打造了一扇高效统一的“云上窗口”。环境监管日趋精细“生态之窗”如何“再进一步”“生态之窗”是青海省生态环境厅根据全省重点生态保护区域自然景观分布，以及野...阅读全文
概述数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算，展示。大数据的数据采集工作是大数据技术中非常重要、基础的部分，具体场景使用合适的采集工具，可以大大提高效率和可靠性，并降低资源成本。Flume、Logstash和Filebeat都是可以作为日志采集的工具，本报告将针对这三者进行分析。一、FlumeFlume是一种分布式、高可靠和高可用的服务，用于高效地收集、聚合和移动大量日志数据。它有一个简单而灵活的基于流数据流的体系结构。它具有可调的可靠性机制、故障转移和恢复机制，具有强大的容错能力。它使用一个简单的可扩展数据模型，允许在线分析...阅读全文
1. 阻塞 IO通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(’\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。read 的这种行为，称之为 block，一旦发生 block，本进程将会被操作系统投入睡眠，直到等待的事件发生了（比如有数据到来），进程才会被唤醒。系统调用 write 同样有可能被阻塞，比如向网络写入数据，如果对方一直不接收，本端的缓冲区一旦被写满，就会被阻塞。1.1 阻塞读终端实验代码// 文件名：blockdemo.c#include
随着上云成为普遍趋势、企业需求的多样化发展，单一的云模式已经无法满足企业用户的复杂需求，单云模式下深度绑定一朵云所带来的成本不确定性以及安全风险日益增加。数据显示，超过92%的企业计hua选择多云的上云方案。天翼云作为云服务国家队，凭借在资源充裕度、网络覆盖范围、产品安全性和实施性价比等方面的独特优势，成为企业部署多云架构时的首-选。多云方案中备份与迁移是较为常见的实施手段，是指将生产数据以实时同步的方式从一朵云备份到其他云中。生产数据种类很多，包括数据库、文件、文本、日志等，其中数据库是最为重要的一种。因此，企业的多云方案往往从数据库开始。企业部署多云数据库时，仅需购买相同类型或规格更小的云数据库，再使用天翼云数据传输服务TeleDB-DTS（后称天翼云DTS）将其他云的数据库实时同步到天...阅读全文
导语 类加载器算是 JVM 的核心技术，也是比较难懂的知识，因此当然也就是成为了 java 面试中不可少内容，JVM自定义类加载器在代码扩展性在现实中也是我们经常遇到的问题，本次介绍的是VIVO技术团队在类加载器上的实践！ 一、背景 名单管理系统是手机上各个模块将需要管控的应用配置到文件中，然后下发到手机上进行应用管控的系统，比如各个应用的耗电量管控；各个模块的管控应用文件考虑到安全问题，有自己的不同的加密方式，按照以往的经验，我们可以利用模板方法+工厂模式来根据模块的类型来获取到不同的加密方法。代码类层次结构示意如下: 获取不同加密方法的类结构图 利用工厂模式和模板方法模式，在有新的加密方法时，我们可以通过添加新的handler来满足"对修改关闭，对扩展开放"的原则，但是这种方式不可避免的...阅读全文
1月4日，国家数据局会同中央网信办、科技部、工业和信息化部等17个部门联合印发《“数据要素×”三年行动计划（2024—2026年）》，旨在充分发挥数据要素乘数效应，赋能经济社会发展。在推动发挥数据要素乘数效应，释放数据要素价值的攻坚路上，海南省一直走在前面。近日，海南省大数据管理局印发全国首部明确开展数据产品所有权确权登记的政策文件《海南省数据产品超市数据产品确权登记实施细则（暂行）》（以下简称《实施细则》），率先探索确定数据产品所有权，从源头上解决数据产品后续资产化、资本化应用，促进数据资源开发利用。基于全省统一的数据产品开发利用、流通交易平台——海南省数据产品超市，《实施细则》进一步明确数据产品所有权的确权登记流程，引导数据产品进行权属确认、流转备案，探索数据资产化、资本化管理。遵循依法...阅读全文
本文分享自天翼云开发者社区《云内GSLB技术及应用场景》，作者:c****n云业务容灾建设节奏一般是同城双活—异地双活—两地三中心（同城双活+异地多活），因为要解决的问题的复杂度和难度也是在逐步上升的，不可能一蹴而就。gslb可以实现两地三中心容灾，这时应用在多数据中心的情况下，业务需要分布式部署，无论哪个数据中心都可以独立承担业务，数据中心内通过服务器负载均衡（lb）进行数据中心内的业务负载，gslb是通过dns给lb做负载均衡，配合健康检查实现业务的故障切换，数据中心切换，一些算法如静态就近性可以就近访问加速等。一、基本概念1.业务域名用户访问应用服务的dns域名。2.服务成员域名最后返回的ip的地址，这个ip地址一般就是slb负载均衡设备的ip。3.地址池一组服务成员的集合，可以选择服...阅读全文
HBase模式设计是需要注意的问题：1．设计准则1）行键设计读访问模式：通过行键索引提升查询效率。HBase中唯一可用的索引只有行键索引，需要对行键精心设计来尽可能地优化数据查询。某项数据放在行键中会得到更好的查询性能，但是行键的长度变长，行键索引会占用更多的内存资源，由于行键在每个列族中保存，也会需要更多的磁盘空间。写访问模式：避免同一时间段里写入的数据形成热点。随机前缀：在原先彼此相邻的行键前面加上一个随机生成的前缀。哈希前缀：针对随机前缀生成的行键具有不确定性的缺陷，哈希前缀做了改进，通过对原行键调用选定的哈希函数生成前缀。反转键：将原先彼此相邻的行键按字节序反转生成新的行键。以上几种策略都会失去数据按特定行键顺序存放的特性，在进行范围查询时需要访问全部索引数据且需要有更多的磁盘IO操...阅读全文
在数据驱动的时代，高效地存储和处理数据成为了开发者们的重要任务。Redis，作为一个开源的高性能键值对（key-value）数据库，以其独特的数据结构和丰富的功能，成为了众多项目的首选。 今天，我们就来揭开Redis的神秘面纱，看看它是如何通过不同的数据类型，为我们提供高效、灵活的数据存储和处理能力的。 ### 一、字符串（String）：数据的基石 #### String类型简介 字符串是Redis最基本的数据类型，它可以存储文本、数字或者二进制数据。 使用字符串类型，你可以执行原子性的操作，如追加（APPEND）、设置（SET）和获取（GET）。例如，你可以将用户信息作为字符串存储，并通过键快速检索。 - 一个key对应一个value。 - String类型是二进制安全的。只要内容可以使...阅读全文
11月2日，国际数据公司（IDC）最新发布的《中国公有云服务市场（2023上半年）跟踪》报告显示，在中国公有云IaaS市场，中国电信天翼云份额占比再度大幅攀升，稳居业内前三；同时，在公有云IaaS+PaaS市场，天翼云同样增势强劲，以领先优势，位列第三。从中国企业和MNC使用国内公有云IaaS资源的市场角度来看，中国电信天翼云排名第三。天翼云强劲增势离不开持续的科技创新与行业赋能。作为云服务国家队，天翼云在持续优化算力资源布局的基础上，全面突破云操作系统、分布式数据库等关键核心技术，以云操作系统为核心，从底层基础软硬件技术，到上层高阶云能力，实现了全栈技术的自主可控，打造了具备“科技创新、自主可控、安全可信、云网融合、生态开放、绿色低碳”六大特征的国家关键信息基础设施平台，为各行业数字化...阅读全文
2024年6月26日，2024世界移动通信大会上海（简称“MWC上海”）盛大开幕。围绕“未来先行”主题，来自全球的产业、技术和社区等各界代表齐聚一堂，共话产业高质量发展。在“智启云领 向新未来”主题馆内，天翼云展出了“息壤”“云骁”“慧聚”三大智算平台和“天翼AI云电脑”“一体化紫金算力基础设施”等最新智算成果，全方位展示在人工智能时代的科技创新实力。算力分发网络平台“息壤”一体化计算加速平台“云骁”一站式智算服务平台“慧聚”一体化紫金算力基础设施天翼AI云电脑夯实智算底座全栈赋能AI产业创新与应用落地天翼云智算云体系中，“息壤”平台可实现跨域、跨服务商异构算力的统一调度管理、并网交易，加快全国一体化算力体系形成，让智算更普惠。“云骁”具备超大规模集群管理、运营和算力加速能力，集“...阅读全文
本文分享自天翼云开发者社区《玩转云端|天翼云边缘安全加速平台AccessOne实用窍门之上传下载极速推进，纵享丝滑体验！》，作者：天翼云社区官方账号随着传媒行业数字化转型驶入深水区，如何提升内容生产与服务能力成为传媒产业新的时代命题。传媒业务数据量庞大，包含海量视频、音频、图像及文字等数据，这意味着传媒业务的内容上传和下载工作成为从业者工作中的重要部分。受限于传输速度和网络拥堵等因素，传媒业务中的上传和下载工作往往会遇到诸多困难。那么，如何提高传媒业务的上传下载速度，助力传媒行业提升平台运营水平与服务效率？天翼云边缘安全加速平台AccessOne来支招！某主流媒体平台为推动线上业务蓬勃发展，搭建了门户网站、APP客户端等多类用户入口，在线提供视频、音频、图片等高质量内容。然而，由于平台用户数...阅读全文
本文分享自天翼云开发者社区《ceph数据重构原理》，作者:x****n在分布式存储系统Ceph中，硬盘故障是一种常见问题。为了保证数据安全，当发生硬盘故障后，分布式存储系统会依据算法对故障硬盘上的数据进行数据重构及转储。和一般分布式系统一样的是，Ceph同样使用多副本机制来保证数据的高可靠性（注：EC在实现层面可以理解为副本机制的一种），给定一份数据，Ceph在后台自动存储多份副本（一般使用3个副本），从而使得在硬盘损毁、服务器故障、机柜停电等故障情况下，不会出现数据丢失，甚至数据仍能保持在线。不过在故障发生后，Ceph需要及时做故障恢复，将丢失的数据副本补全，以维系持续的数据高可靠性。一.PG和PGLogCeph中对象数据的维护由PG（Placement Group）负责，PG作为Ceph...阅读全文
近日，知名开源大规模并行处理 (MPP) 数据库Greenplum的源代码在其官方GitHub页面突然消失，引发了用户和开发者的广泛关注， PostgreSQL生态系统或将产生新变数。开源软件在面对商业化和盈利需求时的举措，将对行业产生巨大影响：开源信任的挑战：频繁的开源协议变更可能会导致企业和开发者对开源项目的信任度下降。法律和合规考虑：新协议条款可能引发企业对法律和合规风险的重新评估，影响其技术选型和投资决策。作为云服务国家队，天翼云不断加快关键核心技术自主攻关，针对市场需求自研TeleDB数据库，能够助力客户平滑迁移Greenplum数据库，实现应用无缝切换，以更可靠的产品和更优质的服务，提供企业数据管理更优解。TeleDB分析型实例，企业数据库领先之选天翼云TeleDB分析型实例是一...阅读全文
近日，由中国通信企业协会主办的“第13届数据中心产业发展大会暨AIDC智能算力生态合作展览会”在北京顺利举行。现场展示了天翼云“AIDC”“紫金”“云骁”“息壤”等技术和平台能力；中国电信天翼云2023年智算资源池上海节点建设工程获得大会“算力基础设施高质量发展企业案例奖”；天翼云科技有限公司云网发展部副总经理李启荣围绕天翼云新一代智算中心建设方案与创新实践展开分享。随着人工智能的飞速发展，国家出/台一系列政策，为底层算力基础设施建设，以及人工智能赋能经济社会发展指明了方向。2024年政府工作报告中指出，深化大数据、人工智能等研发应用，开展“人工智能+”行动，打造具有国际竞争力的数字产业集群，适度超前建设数字基础设施，加快形成全国一体化算力体系，培育算力产业生态。人工智能已成为引领未来发展...阅读全文
本文分享自天翼云开发者社区《CBR云备份与恢复管控简介》，作者:c****n1.CBR云备份与恢复介绍CBR (Cloud Backup & Restore)是一般云厂商提供的备份与恢复服务。用户可以在云端对数据进行备份和恢复，保证数据的安全性和可靠性。使用CBR，用户可以方便地随时随地备份和恢复数据。采用增量备份、快照备份、跨区域复制等先进的备份和恢复技术，提供快速、高效、可靠的数据保护。此外，CBR还提供了基于agent的备份、快照备份、VSS备份等多种备份方式，以适应不同类型的数据和应用。2.云备份与恢复管控介绍CBR 管理架构旨在为用户提供安全、可靠、易用的备份与恢复服务。该架构由几个关键组件组成，包括备份服务端、消息中间件、备份仓库、备份引擎和恢复引擎。备份服务端为用户提供了基于...阅读全文
