Web安全渗透测试 掌握绝大多数Web漏洞原理及攻防手段

大语言模型微调数据竞赛，冠军！

​近日，天池FT-Data Ranker竞赛落下帷幕，天翼云智能边缘事业部AI团队（后称天翼云AI团队）凭借在大语言模型（LLM）训练数据增强方面的卓越研究，荣获大语言模型微调数据竞赛——7B模型赛道冠军。​FT-Data Ranker竞赛是一场面向大语言模型研究、以数据为中心的竞赛，吸引了包括来自北京大学、Hantec等知名高校、研究机构、企业的近400支优秀队伍参赛。天翼云在激烈的角逐中脱颖而出，展现出强大的技术创新能力。数据在大语言模型（LLM）的能力打造中发挥着至关重要的作用，更好地构建和处理数据集成为大语言模型领域研究的重点。本次竞赛的核心在于独立、精确地评估和提升数据集质量，加速形成基准驱动的数据开发流程，增强大语言模型数据处理能力，提高该领域对数据质量和数据优化的理解能力。本次...阅读全文

图文解释 读写分离、垂直拆分、水平拆分、分库分表

1. 前言 相信你经常被 读写分离、垂直拆分、水平拆分、分库分表 这几个名词搞得很懵逼。我有时候也很懵逼，那么今天就来把这几个数据库常用术语搞清楚，同时也记录一下。 2. 读写分离 这个相对比较好理解一些，就是将数据库分为主从库，一个主库（Master）用于写数据，多个从库（Slaver）进行轮询读取数据的过程，主从库之间通过某种通讯机制进行数据的同步，是一种常见的数据库架构。下面这张图就展示了 “一主二从” 的结构： 2.1 为什么要读写分离 大多数互联网数据操作往往都是读多写少，随着数据的增长，数据库的“读”会首先成为瓶颈。如果我们希望能线性地提升数据库的读性能和写性能，就需要让读写尽可能的不相互影响，各自为政。在使用读写分离之前我们应该考虑使用缓存能不能解决问题。然后再考虑对数据库按照...阅读全文

数据如何同步到云服务器

本文分享自天翼云开发者社区《数据如何同步到云服务器》，作者：每日知识小分享随着云计算技术的快速发展，越来越多的企业和个人选择将他们的数据和应用程序存储在云服务器上。然而，将数据同步到云服务器是一个复杂的过程，需要一定的技术知识和规划。本文将介绍数据同步到云服务器的最-佳做法，包括数据备份、数据恢复、数据迁移等方面。一、数据同步的概念数据同步是指将数据从一个地方复制或传输到另一个地方，以保证数据的完整性和一致性。在云服务器中，数据同步通常指将本地数据备份到云服务器中，或者将云服务器中的数据恢复到本地或者其他云服务器中。二、数据同步的分类数据备份数据备份是指将本地数据备份到云服务器上，以防止本地数据丢失或损坏。在备份过程中，需要选择合适的备份软件和备份策略，以确保备份数据的完整性和可靠性。同时，...阅读全文

什么是无服务器架构技术？

本文分享自天翼云开发者社区《什么是无服务器架构技术？》，作者:SD万无服务器架构（Serverless Architecture）是jin年来逐渐兴起的一种软件架构方案，它采用了一种全新的方式来处理应用程序的部署、运行和扩展。与传统的服务器架构相比，无服务器架构具有很多优势，包括可扩展性、弹性、可靠性和安全性等。一、无服务器架构的基本概念和特点1.基本概念无服务器架构是指将应用程序的部署、运行和扩展都交给了云服务提供商来处理，开发者只需要通过API调用来访问和操作应用程序，不再需要考虑服务器、网络、负载均衡等问题。在无服务器架构中，云服务提供商会为开发者提供一系列工具和服务，包括API网关、流量控制、负载均衡、缓存、安全等，开发者只需要关注业务逻辑的实现即可。2.特点无服务器架构的主要特点包...阅读全文

图灵 Python全栈开发工程师

download：https://www.daxiacode.com/7446.html【资源目录】:| ├──1–django 简介.mp4 1.65G| ├──10–权限分配.mp4 637.10M| ├──11–批量操作.mp4 1011.98M| ├──12–权限分配实现.mp4 696.79M| ├──13–rbac组件.mp4 804.36M| ├──14–stark组件(上).mp4 699.82M| ├──15–stark组件(下).mp4 635.81M| ├──16–CRM项目开发(上).mp4 362.90M| ├──2–路由匹配与函数视图.mp4 1.36G| ├──3–数据模型.mp4 1.56G| ├──4–数据查询与网络请求.mp4 1.22G| ├──5–网络...阅读全文

[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统课程

[完结11章]技术大牛成长课,从0到1带你手写一个数据库系统 参考资料下载地址1：https://pan.baidu.com/s/1ANB63p3Alsu6ivFGlKKNLg 提取码: ksn2 参考资料下载地址2：https://share.weiyun.com/Tp6ewDIJ 密码：6crcwd 大家好，今天我将给大家分享关于如何开发一个数据库系统的知识，将从0到1手把手带着一步步去开发这个项目，希望我的分享对大家的学习和工作有所帮助，如果有不足的地方还请大家多多指正。 一、什么是数据库系统 数据库系统一般由数据库、数据库管理系统（及其开发工具）、应用系统、数据库管理员构成 二、数据库管理系统的主要功能包括 数据定义功能：DBMS提供数据定义语言（Data Definition La...阅读全文

K8s 为什么要弃用 Docker？

以下文章来源于云原生技术社区，作者Tony，侵删在写“K8s”系列文章的过程中，很多读者留言询问 K8s 弃用 Docker 的事，担心现在学习 Docker 是否还值得，是不是该切换到 containerd 或其他运行时。这些怀疑有一定的道理。两年前，K8s 发布“弃用 Docker”的消息时，确实在社区引起了“轩然大波”，影响甚至蔓延到了社区之外，K8s 不得不写了好几篇博客来重复解释原因。两年过去了，虽然 K8s 1.24 已经实现了“弃用 Docker”的目标，但很多人似乎对这一点还不是很清楚。所以本篇文章就来聊聊这个话题。CRI（容器运行时接口）要理解 K8s 为何“弃用 Docker”，我们得回顾一下 K8s 的发展史。2014 年，Docker 正处于鼎盛时期，而 K8s 刚刚...阅读全文

HBase Region 自动拆分策略-腾讯云开发者社区

HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.IncreasingToUpperBoundRegionSplitPolicy HBase-2.x: org.apache.hadoop.hbase.regionserver.SteppingSplitPolicy o...阅读全文

Java开发者必备：Maven简介及使用方法详解！

今天我们来介绍一个在Java开发中非常重要的工具——Maven。如果你是一名Java开发者，那么你一定不会对Maven感到陌生。但是，对于一些新手来说，可能还不太了解Maven是什么，它有什么作用，以及如何使用它。接下来，就让我们一起来深入了解一下Maven吧！ ## 一、maven简介 ### Maven是什么 Maven是一个项目管理工具，它包含了一个项目对象模型 (Project Object Model)，一组标准集合，一个项目生命周期(Project Lifecycle)，一个依赖管理系统(Dependency Management System)，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。maven是基于Ant 的构建工具，Ant 有...阅读全文

MyBatis-Plus 效能提升秘籍：掌握这些注解，事半功倍！

MyBatis-Plus是一个功能强大的MyBatis扩展插件，它提供了许多便捷的注解，让我们在开发过程中能够更加高效地完成数据库操作，本文将带你一一了解这些注解，并通过实例来展示它们的魅力。 ## 一、@Tablename注解 这个注解用于指定实体类对应的数据库表名。如果你的表名和实体类名不一致，就需要用到它： ``` @TableName("user_info") public class UserInfo { // 类的属性和方法 } ``` 在上述代码中，即使实体类名为UserInfo，但通过@TableName注解，我们知道它对应数据库中的"user_info"表。 ## 二、@Tableld注解 每个数据库表都有主键，@TableId注解用于标识实体类中的主键属性。通常与@Tab...阅读全文

2022年前端框架趋势：React与Vue深度对比

携手创作，共同成长！这是我参与「掘金日新计划 · 8 月更文挑战」的第 31 天，点击查看活动详情 为什么写这篇文章？最近我在开发一个 real-time Web 开源库，但是我要和团队讨论，这个库应该优先支持某些框架。为此，我需要做一下开源框架的市场调研，拿到一些数据。此外，我前段时间在掘金写了一篇文章，通过概念和语法对 React 和 Vue 进行了简单的对比，但是有些掘友认为深度不够，所以这篇也可以视作上一篇的补充。 前端框架大比拼：2022年的Vue与React谁更胜一筹？ 这一次，我会进行更加深度全面的对比，通过多个维度和真实数据来让大家搞清楚到底谁是 2022 年最强前端框架。 个人看法 我使用 React 和 Vue 的时间都超过 6 年，这两个框架都是很优秀的前端框架，而且在...阅读全文

MySQL快速复制数据库的方法_mysql 快速复制整个库

某些时候，例如为了搭建一个测试环境，或者克隆一个网站，需要复制一个已存在的mysql数据库。使用以下方法，可以非常简单地实现。 假设已经存在的数据库名字叫db1，想要复制一份，命名为newdb。步骤如下： 1. 首先创建新的数据库newdb #mysql -u root -ppassword mysql>CREATE DATABASE `newdb` DEFAULT CHARACTER SET UTF8 COLLATE UTF8_GENERAL_CI; 2. 使用mysqldump及mysql的命令组合，一次性完成复制 #mysqldump db1 -u root -ppassword --add-drop-table | mysql newdb -u root -ppassword （注意...阅读全文

荣登榜首，天翼云位列专属云容器服务市场第一！

​近日，IDC发布的《中国容器市场份额，2022：向阳而生，蓬勃发展》数据显示，天翼云在2022年专属云容器服务市场中高居榜首，实力领跑。​云原生时代，企业对应用的敏捷、弹性、迭代效率要求越来越高。容器技术因其敏捷、弹性、易扩展、可移植性等特性，能够有效支撑企业应用的发展，帮助企业提高软件开发、测试和部署效率，带来更灵活、更弹性的基础设施，为企业数字化转型提供了重要的推动作用。作为云计算原创技术策源地，天翼云坚持科技创新，深耕容器应用场景，打造了云容器引擎、容器镜像服务、分布式容器云平台等多款容器产品，以完善的容器产品与服务，满足多元化业务场景需求，助力企业实现敏捷高效上云、加速业务创新。其中，天翼云云容器引擎提供高可靠、高性能的企业级容器应用管理服务，支持Kubernetes社区原生应用和...阅读全文

Rocksdb原理简介

本文分享自天翼云开发者社区《Rocksdb原理简介》，作者:l****nRocksdb作为当下nosql中性能的代表被各个存储组件（mysql、tikv、pmdk、bluestore）作为存储引擎底座，其基于LSM tree的核心存储结构（将随机写通过数据结构转化为顺序写）来提供高性能的写吞吐时保证了读性能。同时大量的并发性配置来降低compaction的影响。​涉及到的几个核心文件：WALWriteAheadLog，rocksdb的日志，保存memtable中的信息。当memtable转化为immutable memtable并且Flush到L0层之后，之前WAL的会被清理，即于删除DB目录下的log文件。在RocksDB中每一次数据的更新都会涉及到两个结构，一个是内存中的memtable...阅读全文

Linux 查看磁盘IO并找出占用IO读写很高的进程-腾讯云开发者社区

背景-线上告警线上一台服务器告警，磁盘利用率 disk.util > 90，并持续告警。登录该服务器后通过 iostat -x 1 10 查看了相关磁盘使用信息。相关截图如下：1 # 如果没有 iostat 命令，那么使用 yum install sysstat 进行安装 2 # iostat -x 1 10复制由上图可知，vdb磁盘的 %util【IO】几乎都在100%，原因是频繁的读取数据造成的。其他字段说明Device：设备名称 tps：每秒的IO读、写请求数量，多个逻辑请求可以组合成对设备的单个I/O请求。 Blk_read/s (kB_read/s, MB_read/s)：从设备读取的数据量，以每秒若干块(千字节、兆字节)表示。块相当于扇区，因此块大小为512字节。 Blk_wrt...阅读全文

云电脑：运行原理与自行搭建指南

本文分享自天翼云开发者社区《云电脑：运行原理与自行搭建指南》，作者：不知不觉在当今这个数字化时代，云计算技术正在改变我们的工作方式和生活方式。云电脑，作为一种新兴的云计算服务模式，越来越受到人们的关注和欢迎。了解云电脑的原理以及如何自行搭建云电脑，已经成为了一个重要的议题。一、云电脑的运行原理云电脑是一种基于云计算的虚拟化电脑，它的运算、存储和管理都由远程数据中心来处理。用户通过简单的终端设备（如手机、平板或瘦客户端）以图形界面或命令行方式进行操作，所有的应用程序和数据都存储在远程的数据中心。虚拟化技术：虚拟化技术是云电脑的核心技术，它允许一台物理服务器同时运行多个虚拟机，每个虚拟机都可以独立地运行操作系统和应用程序。虚拟化技术有效地提高了服务器的利用率，降低了能源消耗。网络传输技术：云电脑...阅读全文

等保合规有妙招！安全又省心！

近年来，上云已成为企业数字化转型的必然选择，安全也成为了企业上云考虑的关键问题。《信息安全技术-网络安全等级保护基本要求》规定了网络安全等级保护的第一级到第四级等级保护对象的安全通用要求和安全扩展要求。那么，企业该如何高效、平稳地满足等保合规，并将安全转化为自身的发展助力？安全共建天翼云提供一站式云等保合规服务​为进一步满足业务的安全合规需求，助力企业客户顺利通过等保安全测评，天翼云推出云等保专区产品，利用云原生安全技术，构建下一代防火墙、WAF、主机安全、堡垒机、数据库审计、日志审计、漏洞扫描7大安全原子能力，针对不同等级的过保要求，灵活定制打造包含网络安全、终端安全、应用安全、数据安全、安全管理中心等安全能力的“货架”，帮助企业便捷、快速地挑选产品，实现对自身安全建设查漏补缺。通过云等保...阅读全文

份额大涨! 天翼云稳居中国公有云laaS市场、laaS+PaaS市场第三！

近日，国际数据公司（IDC）最新发布的《公有云市场数据跟踪，2023Q3》报告显示，在公有云整体市场增速全面收紧的背景下，中国电信天翼云市场份额大涨，中国公有云IaaS市场份额增长至12.9%，同比增长1.3pp，公有云IaaS+PaaS市场份额增长至11.6%，同比增长1.4pp，天翼云以强劲增势稳居第三。​作为云服务国家队，天翼云秉持“云网融合、安全可信、绿色低碳、生态开放”的发展理念，以科技创新持续夯实国云底座，赋能数字经济高质量发展。经过十余年行业积累，2023年，天翼云作为国家云的框架全面成型。在资源布局方面，天翼云已形成“2+4+31+X”全国资源布局，织就全国算力“一张网”，构建了“中心-省-边缘-端”的四级算力布局体系，可为各地用户提供高速泛在的算力，让用户使用算力像水电一样...阅读全文

一种通过延迟事务提升数据库性能的方法

本文分享自天翼云开发者社区《一种通过延迟事务提升数据库性能的方法》,作者:唐****律一、背景在数据库代理层中，写节点的数据库连接是一种很重要和稀缺的资源，提升其利用率是一个提升数据库整体性能的重要手段。数据库连接占用过高会大幅增加数据库的资源负担，降低数据库的处理能力。通过延迟启动的事务，可以减少不必要的连接占用时长，提升数据库连接利用率。在用户通过代理层使用数据库的时候，如果提交了一条只读查询，那么代理层可以从连接池中获取一个连接、查询、获取数据、然后归还连接。如果在只读查询之前启动了事务，那么在用户提交或者回滚事务之前，该连接不能归还到连接池，大大增加了数据库连接的占用时间。而在ReadCommitted事务隔离级别中，只读查询语句的查询结果是不可重复的，这时如果事务中没有其它写操作，...阅读全文

RestTemplate使用JSON发送Post请求_resttemplate post json

RestTemplate使用JSON发送Post请求 本文我们说下如何使用Spring的 RestTemplate调用post请求，发送json内容。 1. 定义服务端web接口 1.1. 定义业务接口 先定义Person实体类表示post请求的数据： public class Person { private Integer id; private String name; // standard constructor, getters, setters } 再定义PersonService接口并实现两个方法，关联使用Person类： public interface PersonService { public Person saveUpdatePerson(Person person...阅读全文

怎么打印当前ClassLoader 加载了哪些Jar_java 打印加载的jar_共饮一杯无的博客

classloader类加载器_基于java类的加载方式详解 08-29 下面小编就为大家带来一篇classloader类加载器_基于java类的加载方式详解。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧 Java 动态加载jar文件示例 01-23 Java 动态加载jar文件示例，轻松实现插件式开发 解决classloader的jar包 11-07 包括commons-logging commons-beanutils commons-lang ezmorph json-lib-2.4-jdk15 commons-collections-3.2.1的jar包，可以解决 org/apache/commons/lang/exception/NestableRu...阅读全文

一文告诉你Java日期时间API到底有多烂 - YourBatman

前言 你好，我是A哥(YourBatman)。 好看的代码，千篇一律！难看的代码，卧槽卧槽~其实没有什么代码是“史上最烂”的，要有也只有“史上更烂”。 日期是商业逻辑计算的一个关键部分，任何企业的程序都需要正确的处理日期时间问题，否则很可能带来事故和损失。为此本系列仅着眼于这一个点就写了好几篇文章，目的是帮助你系统化的搞定所有问题/难题。 平时我们都热衷于吐槽同事的代码有多烂，今天我们就来玩点狠的：吐槽吐槽JDK，看看它的日期时间API设计得到底有多烂。 说明：本文指的日期时间API是Date/Calendar系列，而非Java 8新的API。毕竟一般我们称后者为JSR 310日期时间，请注意区分哈 本文提纲 版本约定 JDK：8 正文 诚然，Java的API绝大多数设计得都是非常优秀且成功...阅读全文

第一！天翼云荣获国际人工智能顶会AAAI 2024大模型数学理解&推理竞赛冠军！

​近日，AAAI 2024 Global Competition on Math Problem Solving and Reasoning大赛落下帷幕，天翼云智能边缘事业部AI团队凭借在大模型基础能力研究领域的数据处理与模型训练策略的领先优势，在众多参赛队伍中脱颖而出，荣获本次竞赛冠军。​AAAI（Association for the Advancement of Artificial Intelligence）是人工智能领域的国际权威学术组织，其举办的会议和赛事聚集全球AI从业者，是展示最新人工智能研究成果的重要平台。数学推理长期以来被视为检验大模型能力的试金石。尽管当前的大语言模型（LLM）在语言能力方面已经取得了长足进步，但在数学推理方面仍存在不足，尤其是对公式、符号和抽象图形的理...阅读全文

hbase配置副本数为2_mob64ca12e58adb的技术博客_51CTO博客

HBase配置副本数为2 HBase是一个分布式的、可扩展的开源NoSQL数据库。它提供了高可靠性、高性能和高扩展性的数据存储解决方案。在HBase中，数据以表的形式组织，每个表可以有多个列族，每个列族可以包含多个列。HBase以行的方式存储数据，并使用Hadoop的HDFS作为底层存储。 在HBase中，可以通过配置副本数来提高数据的可靠性和冗余性。副本数是指在HBase集群中，每个数据块的副本数量。当某个数据块不可用时，HBase可以从其他副本中读取数据，保证了数据的可靠性和高可用性。 配置副本数为2的方法 HBase中的副本数可以在创建表的时候进行配置。下面是一个示例代码： import org.apache.hadoop.conf.Configuration; import org....阅读全文

性能调优五步法

本文分享自天翼云开发者社区《性能调优五步法》，作者：x****nLinux 内核从 2.5 版本开始针对 NUMA 架构做了大量优化工作，同时也提供了丰富的工具和接口，可以帮助我们很容易的完成访问本地内存的设置。所以，通过适当的性能调优，可以提供更高的计算能力。性能优化通常可以通过五个步骤完成1.确认基线性能优化第一步是确定当前性能，并明确性能应提升的程度。如果系统性能不佳，我们就需要花时间进行研究分析，但如果系统性能接近其峰值，那可优化的空间就微乎其微。性能基线必须是一种客观可度量的指标，在明确如何度量特定系统或者应用程序的性能后，在调整和优化之前，运行应用程序并记录其性能，这就是基线值。在记录应用程序基线的同时我们需要对整个系统部件进行基准监控，包括CPU、内存、IO、网络吞吐、响应延时...阅读全文

告别繁琐操作！Maven常用命令一网打尽，让你的项目开发事半功倍！

Maven作为一款强大的项目管理工具，已经成为了Java开发者的必备技能。那么，如何才能更好地利用Maven来管理我们的项目呢？本文将为你介绍Maven的常用命令，让你的项目构建更轻松！ ## 一、maven 的概念模型 Maven 包含了一个项目对象模型 ，一组标准集合，一个项目生命周期，一个依赖管理系统，和用来运行定义在生命周期阶段(phase)中插件(plugin)目标(goal)的逻辑。  #### 项目对象模型 (Project Object Model) 一个 maven 工程都有一个 pom.xml 文...阅读全文

Llama3大模型原理代码精讲与部署微调评估实战

Llama3大模型原理代码精讲与部署微调评估实战 Llama 3 大模型 使用的是 标准的 仅解码 Decoder-Only 式的 Transformer 架构 ; 与之相对的 ChatGPT 使用的是 GPT ( Generative Pre-trained Transformer ) 架构 , 包含了编码器 ( Encoder ) 和 解码器 ( Decoder ) 的特性 ; Llama 3已经在多种行业基准测试上展现了最先进的性能，提供了包括改进的推理能力在内的新功能，是目前市场上最好的开源大模型。 在架构层面，Llama3选择了标准的仅解码（decoder-only）式Transformer架构，采用包含128K token词汇表的分词器。Llama 3在Meta自制的两个24K ...阅读全文

【Java集合】数据结构与集合的神秘联系，一文读懂！

上篇文章中我们对单列集合中常用的方法和遍历查询。通过本文章为我们解惑，好好的字符串用起来不就行了，为什么要用集合这些工具类？本篇文章将简要介绍数据结构，让读者了解它们在计算机中以何种结构方式存在。那么，什么是数据结构呢？下面我们来详细解释。 ## 数据结构 ### 1.1 数据结构有什么用？ 数据结构是计算机存储、组织数据的方式。 数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。 通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。  数据结构往往同高效的检索算法和索引技术有关。 这句话是啥意思...阅读全文

Prometheus入门与进阶实践（2024最新）

Prometheus入门与进阶实践（2024最新） 分享一套课程——Prometheus入门与进阶实践（2024最新），附PDF课件+源码下载。 1、什么是Prometheus Prometheus 是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheus server会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行拉取数据，当新拉取到的数据大于配置的内存缓存区时，数据就会持久化到存储设备当中。 1.每个被监控的主机都可以通过专用的exporter 程序提供输出监控数据的接口，它会在目标处收集监控数据，并暴露出一个HTTP接口供Prometheus server查询，Prometheus通过基于HTTP的pul...阅读全文

天翼云入选“2023年度数据要素价值创新标杆示范案例”！

​近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布了“2023年度数据要素价值创新标杆示范案例”评选结果，天翼云“海南省数据产品超市公共数据资源开发利用平台”与“福州市公共数据要素流通平台”获此殊荣，为推动数据要素市场化配置、助力数据要素价值释放树立了行业标杆。​​天翼云相关专家出席会议并分享了天翼云加速向智能云全面升级，在智算服务体系建设、数据要素平台技术创新方面的实践和成果。今年，“人工智能+”首次写入政府工作报告，全面驱动产业数智化升级。作为云服务国家队，天翼云立足全栈自研的技术体系、行业领先的产品服务、安全可信的运营能力，不断巩固和强化竞争优势。没有...阅读全文

RoaringBitmap使用指南-Java快速入门教程 - JackYang

1. 概述 在本教程中，我们将了解RoaringBitmap。我们将使用对一组的一些基本操作作为RoaringBitmap的示例。此外，我们将在 Java 中的RoaringBitmap和BitSet之间执行性能测试。 2. RoaringBitmap简介 RoaringBitmap数据结构由于其高性能和压缩比，通常用于分析、搜索和大数据项目。它背后的想法来自位图索引，这是一种用于有效表示数字数组的数据结构。它类似于JavaBitSet，但经过压缩。 压缩大整数集，同时保持对单个元素的快速访问是RoaringBitmap的显着优势。RoaringBitmap在内部使用不同类型的容器来实现此目的。 3. RoaringBitmap的工作原理 RoaringBitmap是一组无符号整数，由不相交...阅读全文

列式云数据库与关系型云数据库：区别、优缺点与选择

本文分享自天翼云开发者社区《列式云数据库与关系型云数据库：区别、优缺点与选择》，作者：3****m一、列式云数据库与关系型云数据库的区别数据存储方式列式云数据库以列为单位组织数据，将同一列的数据存储在一起，每个列都有一个相关的列式存储文件。这种数据存储方式适合于大量数据分析和高性能计算的场景，因为列式云数据库能够更好地压缩数据并提高查询效率。而关系型云数据库则采用传统的关系型数据模型，以行为单位组织数据，每个表由多个行组成，每个行由多个列组成，通过主键和外键进行关联。关系型云数据库提供了完整的SQL支持，适用于需要复杂查询和数据分析的应用场景。查询性能列式云数据库通常在大数据量和高并发查询场景下表现出更高的性能。由于列式存储将数据按列划分，因此在执行查询时可以仅扫描所需的列，避免了全表扫描的...阅读全文

世界第一！

近日，国际权威标准性能评测组织SPEC（Standard Performance Evaluation Corporation，即国际标准性能评测组织）公布了全新Cloud IaaS 2018 Benchmark 测试结果，天翼云平台在综合性能及平台相对可扩展性比拼中夺得世界第一。在9台组规模测试、ARM指令集架构测试场景中，天翼云平台的测试结果一举刷新世界纪录；应用实例复制数、相对可扩展性和平均实例配置时间等指标均达到全球领先水平，充分体现天翼云平台优秀的算力调度能力和大规模扩展能力。​科技硬实力，刷新世界纪录SPEC Cloud IaaS 2018 Benchmark是SPEC开发的基于大数据场景下的云基准标准测试套件，用以衡量云计算的性能，Benchmark基准测试模型主要测试的是Ia...阅读全文

如何规避云服务宕机现象？

本文分享自天翼云开发者社区《如何规避云服务宕机现象？》，作者：不知不觉云服务的广泛应用带来了许多优势，如可扩展性、灵活性以及成本效益等。然而，与此同时，云服务宕机现象也变得越来越普遍。为了避免或减少这种影响，研发人员需要采取一系列措施来确保云服务的稳定性和可用性。本文将探讨如何规避云服务宕机现象，以确保业务的连续性和可靠性。一、容灾备份和恢复计划数据备份：定期备份关键数据和应用程序，以防数据丢失或损坏。同时，确保备份数据存储在安全的地方，并且可以kuai速恢复。kuai速恢复：制定详细的kuai速恢复计划，以尽kuai恢复受影响的系统和应用程序。这可能涉及到从备份中恢复数据、重新配置资源等步骤。异地容灾：在异地建立备份数据中心，以应对自然灾害、网络攻-击等意外事件。确保备份数据中心具有足够的...阅读全文

中国电信天翼云全国产化大数据平台落地广西！

近期，中国电信天翼云采用国产化操作系统、应用软件的大数据平台在广西南宁正式上线并投入使用。该项目由天翼云与广西某公司合作，通过天翼云大数据平台翼MR、CTyunOS操作系统等产品，构建了集数据湖和批流一体处理能力的大数据平台。​该大数据平台的重要组成部分，天翼云大数据平台翼MR，是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。近年来，天翼云大数据平台翼MR逐步整合拓展大数据生态组件，自主研发重构大数据基础存储与计算等核心能力，为客户提供一站式的企业级大数据平台。目前，天翼云大数据平台翼MR已实现硬件、操作系统、存储、计算、调度的全栈自主可控，打造了基于软硬协同架构的高性能计算引擎，拥有国产化生态下业界领先的极-致性能。​平台的成功上线，体现了天翼云在大数据自...阅读全文

Vue3+Pinia+Vite+TS 还原高性能外卖APP项目

### download：[Vue3+Pinia+Vite+TS 还原高性能外卖APP项目](https://www.zxit666.com/5762/) .Net Core 开发电商后端API 随着电商市场的不断扩大和发展，越来越多的企业开始考虑开发自己的电商平台。而一个成功的电商平台离不开稳定高效的后端API支持。.Net Core是一个快速、跨平台且高效的开发框架，非常适合用于开发电商后端API。本文将介绍如何使用.Net Core开发电商后端API。 第一步：搭建环境 首先需要下载和安装Visual Studio 2019并安装对应的.NET Core SDK。接下来就可以在Visual Studio中创建一个新的ASP.NET Core Web Application项目了。在创建...阅读全文

MyBatis-Plus快速入门指南：零基础学习也能轻松上手

在Java开发的世界里，持久层框架的选择对于项目的成功至关重要。今天，我们要聊的主角是MyBatis-Plus——一个增强版的MyBatis，它以其强大的功能、简洁的代码和高效的性能，正在成为越来越多开发者的新宠。 那么，MyBatis-Plus到底是什么？又该如何快速入门呢？让我们一起探索这个强大的工具。 ## 一、MyBatis-Plus简介 ### 1、简介 MyBatis-Plus (opens new window)（简称 MP）是一个 MyBatis (opens new window)的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。 ![image.png](http://static.itsharecircle.com/240227/ef4...阅读全文

首批！天翼云大数据平台率先通过信通院无服务器架构大数据平台测试

近日，天翼云大数据平台顺利完成中国信通院无服务器(Serverless) 架构大数据平台测试，成为首批通过该测试的单位之一。本次测试依据《基于无服务器（Serverless）架构的大数据平台技术要求》展开。该要求是中国信通院云计算与大数据研究所依托中国通信标准化协会大数据技术标准推进委员会（CCSA TC601），联合大数据产业甲方用户与头部企业参与编制的技术标准，覆盖资源调度、数据应用、应用管理三大能力域。天翼云大数据平台在各方面均达到标准要求，充分展现了产品在无服务器架构下的能力与优势。天翼云大数据平台是基于云原生技术打造的，集资源、服务、任务、应用等多层级运维管理于一身的服务平台。在技术路线上，天翼云大数据平台实现了硬件、操作系统、存储、计算、调度、中台层全栈自主可控，打造了软硬协同的...阅读全文

hbase2.1.x 压缩算法

说明作用减少数据体积，可以存储更多的数据 缺点压缩/解压缩需要 大量计算，消耗大量CPU资源 解压缩过程压缩在写入数据块到 HDFS 之前会首先对数据块进行 压缩，再落盘，从而可以减少磁盘空间使用量 解压缩在读数据的时候首先从 HDFS 中加载出 block 块之后进行 解压缩 压缩算法hbase2.1 支持 LZO ZSTD GZ LZ4 算法 GZ（GZIP）GZIP 压缩率最高，但是其实CPU密集型的，对CPU的消耗比其他算法要多，压缩和解压速度也慢 用于冷数据存储，要求数据访问不频繁 默认支持 LZOLZO的压缩率居中，比GZIP要低一些，但是压缩和解压速度明显要比GZIP快很多，其中解压速度快的更多 用于热数据存储，数据访问频繁时使用 zstdzstd是Facebook在2016年...阅读全文

彰显科技硬实力！天翼云论文在国际顶刊JoCCASA发表！

近日，由天翼云科技有限公司云网产品事业部混合云团队完成的论文《Multivariate Time Series Collaborative Compression for Monitoring Systems in Securing Cloud-based Digital Twin》在云计算领域国际知名学术期刊Journal of Cloud Computing：Advances,Systems and Applications（JoCCASA）发表。​JoCCASA是全球最大科学出版社之一的德国Springer（施普林格）旗下刊物，SCI JCR分区为2区，近5年影响因子4.4。此次论文在JoCCASA上的发表，代表天翼云科技创新能力再次获得业界权威认可。时序数据压缩是解决海量监控数据长周...阅读全文

玩转云端 | 拥有HBlock这项“存储盘活绝技”，数据中心也能“热辣瘦身”！

夏天马上就要到了，“瘦身”不光是特定人群的需求，也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心，更有效地支撑经济社会数字化转型，已成为业界主流趋势。如何让数据中心“热辣瘦身”？轻量级存储集群控制器——天翼云存储资源盘活系统HBlock必不可少！​“HBlock健身房”究竟是如何发挥功效的？三大招式出击，助力数据中心迅速“逆袭”！第一大招“混合部署”让数据中心精简紧凑，原地“暴瘦”！HBlock作为全用户态的轻量级存储集群控制器，可以和别的业务系统混合部署在同一台服务器内，实现服务器总数量减少。HBlock还可以盘活服务器本地的磁盘，当作高可用虚拟盘提供给服务器现有业务，在3节点起步的轻量集群同时实现计算高可用和存储高可用！​例如，某企业有100台资源利用率为50%、单台可用空...阅读全文

Spring Cloud Alibaba: 实现服务的无损下线功能

Spring Cloud Alibaba: 实现服务的无损下线功能作者：谁偷走了我的奶酪2024.01.18 02:49浏览量：2简介：在微服务架构中，服务的上线和下线是一个常见的操作。然而，直接关闭服务可能会导致数据丢失或服务中断。本文将介绍如何使用Spring Cloud Alibaba实现服务的无损下线功能。在微服务架构中，服务的上线和下线是一个常见的操作。但是，直接关闭服务可能会导致数据丢失或服务中断，这被称为“有损下线”。为了解决这个问题，我们可以使用Spring Cloud Alibaba提供的解决方案来实现服务的无损下线。无损下线的原理是在服务关闭之前，将所有待处理的任务或者请求全部处理完成，保证服务的正常运行，然后再安全地关闭服务。这样就可以避免数据丢失和服务中断的问题。要实...阅读全文

一种提升SQL改写效率的方法

本文分享自天翼云开发者社区《一种提升SQL改写效率的方法》,作者:唐****律一、背景SQL改写是数据库产品中使用比较频繁的一个技术，在大多数产品中的调用频率也非常高，通常对性能的需求需要接近对应数据库产品的上限。例如在天翼云关系型数据库中的Mysql语法兼容组件，其性能测试标准需要达到接近30万TPS，也意味着SQL改写环节的性能标准需要支持至少每秒30万次以上，否则会成为系统的性能瓶颈。SQL改写的基础是抽象语法树，而抽象语法树则是由SQL字符串经过词法分析和语法分析之后得到的。词法分析器和语法分析器在市面上有非常多的种类可供挑选，例如Lexer、YACC、Antlr、Druid等，一般数据库产品都只在其基础上进行SQL改写,例如基于C语言开发的PG的分布式数据库插件Citus。对于一些...阅读全文

真正解决方案：java.lang.ClassNotFoundException: javax.xml.bind.JAXBException

真正解决方案：java.lang.ClassNotFoundException: javax.xml.bind.JAXBException 1. 故障描述2. 故障原因分析3.解决方案3.1 解决方案一3.2 解决方案二（亲测可行）3.3 解决方案三 1. 故障描述 今天在使用JDK 9.0 环境下使用Hibernate 时候出现了这个错误，错误日志如下： 2. 故障原因分析 JAXB API是java EE 的API，因此在java SE 9.0 中不再包含这个 Jar 包。 java 9 中引入了模块的概念，默认情况下，Java SE中将不再包含java EE 的Jar包 而在 java 6/7 / 8 时关于这个API 都是捆绑在一起的 3.解决方案 3.1 解决方案一 降低JDK 9...阅读全文

如何在弹性云主机上部署高效的数据库系统

本文分享自天翼云开发者社区《如何在弹性云主机上部署高效的数据库系统》，作者：二进制诗人在当今云计算的时代，弹性云主机（Elastic Cloud Compute, EC2）为我们提供了前所未有的灵活性和扩展性，使得在云端部署高效的数据库系统成为可能。本文将从选择合适的云服务配置、优化数据库配置、数据备份与恢复策略以及保障数据库安全四个方面分享如何在弹性云主机上部署高效的数据库系统。1.选择合适的云服务配置选择合适的实例类型弹性云主机提供了多种实例类型，针对不同的用途（如计算优化、内存优化等）。对于数据库系统，通常需要考虑内存优化或存储优化的实例类型，例如AWS的R5实例（内存优化）或I3实例（存储优化）。配置高性能存储数据库性能很大程度上取决于存储性能。推荐使用SSD（固态硬盘）作为数据库的...阅读全文

云服务器比传统服务器更安全的原因与实现机制

本文分享自天翼云开发者社区《云服务器比传统服务器更安全的原因与实现机制》，作者：3****m随着互联网的普及和云计算技术的发展，越来越多的企业和组织选择使用云服务器来提供和存储数据。与传统服务器相比，云服务器在安全性方面具有诸多优势。本文将围绕云服务器比传统服务器更安全的原因，探讨其实现机制。一、云服务器比传统服务器更安全的原因虚拟化技术云服务器采用虚拟化技术，将物理服务器上的资源（如CPU、内存、存储等）汇聚到一个虚拟的云中，然后通过网络对外提供服务。这种虚拟化技术可以隔离不同用户和业务，防止数据泄露和攻-击。同时，虚拟化技术还可以实现资源的动态调整和负载均衡，提高资源利用率和系统稳定性。容错技术云服务器通常采用容错技术，实现故障自动切换和负载均衡。当某个虚拟机出现故障时，系统会自动将其切...阅读全文

重新认识 Java 中的内存映射 mmap

mmap 基础概念mmap 是一种内存映射文件的方法，即将一个文件映射到进程的地址空间，实现文件磁盘地址和一段进程虚拟地址的映射。实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页到对应的文件磁盘上，即完成了对文件的操作而不必再调用 read,write 等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。操作系统提供了这么一系列 mmap 的配套函数void *mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset); int munmap( void * addr, size_t len); int msync(...阅读全文

数字先锋 | 打造生态环境监测新范式，天翼云助力青海“生态之窗”数字化升级！

随着我国经济实力高速增长和人民生活水平不断提高，加大生态环境保护力度，以良好的生态环境为高质量发展赋能已成为社会共识。在全球数字化浪潮下，运用数字技术建设高效协同的环境治理新形态，提升生态环境统揽全局、监测感知、预警预报、形势分析等能力，是推进生态环境治理能力现代化的主要途径。近年来，青海省生态环境厅以建设和完善生态环境监管、服务和决策为重点，依托5G、云计算、大数据等先进数字技术，全力推进生态环境网络建设和监测工作。以三江源生态保护为契机，青海省生态环境厅携手天翼云，助力“生态之窗”远程高清实时视频观测系统上云建设，为全域生态环境保护工作打造了一扇高效统一的“云上窗口”。​环境监管日趋精细“生态之窗”如何“再进一步”“生态之窗”是青海省生态环境厅根据全省重点生态保护区域自然景观分布，以及野...阅读全文

7-文件IO

1. 阻塞 IO通常来说，从普通文件读数据，无论你是采用 fscanf，fgets 也好，read 也好，一定会在有限的时间内返回。但是如果你从设备，比如终端（标准输入设备）读数据，只要没有遇到换行符(’\n’)，read 一定会“堵”在那而不返回。还有比如从网络读数据，如果网络一直没有数据到来，read 函数也会一直堵在那而不返回。read 的这种行为，称之为 block，一旦发生 block，本进程将会被操作系统投入睡眠，直到等待的事件发生了（比如有数据到来），进程才会被唤醒。系统调用 write 同样有可能被阻塞，比如向网络写入数据，如果对方一直不接收，本端的缓冲区一旦被写满，就会被阻塞。1.1 阻塞读终端实验代码// 文件名：blockdemo.c#include 阅读全文