大数据平台也“云化”?这份改造指南收藏了!

6月19-20日,由中国通信标准化协会主办,中国通信标准化协会大数据技术标准推进委员会(CCSA TC601)承办的首届“数据智能大会”隆重召开。会议期间,天翼云科技有限公司携手中国信息通信研究院云计算与大数据研究所共同发布《大数据平台云化改造实践指南(2024年)》,天翼云智能边缘事业部副总经理、大数据产品线总经理任春德,中国信通院云大所大数据与智能化部主任姜春宇出席发布仪式;天翼云大数据产品线技术专家王小刚对指南进行了系统解读,并介绍了天翼云在大数据平台方面领先的技术能力以及大数据平台云化改...阅读全文

java技术圈 2024-06-27 17:42:24 Tianyiyun

“翼”起向未来!天翼云亮相2024世界智能产业博览会!

人工智能是新一轮科技革命和产业变革的重要驱动力量,将对全球经济社会发展和人类文明进步产生深远影响。中国高度重视人工智能发展,积极推动互联网、大数据、人工智能和实体经济深度融合,培育壮大智能产业,加快发展新质生产力,为高质量发展提供新动能。6月20日,2024世界智能产业博览会在国家会展中心(天津)盛大开幕。中国电信天翼云以“国云注智,聚力向新”为主题,携智算云前沿成果亮相N24展区,展现智算云与人工智能深度融合下的未来科技。从云网融合到算网一体筑牢智算云底座以大模型为代表的AI技术,对底层算力支...阅读全文

java技术圈 2024-06-27 17:39:16 Tianyiyun

高效计算 TP99 的方法:从排序到优化

在高性能计算和大数据处理中,TP99(第99百分位响应时间)常被用来衡量系统的稳定性和性能表现。本文将介绍几种计算TP99的常用方法,并讨论如何对算法进行优化,以提高计算效率。1. 什么是 TP99?TP99 是第99百分位响应时间,表示排在前99%的请求时间。在实际应用中,它用于衡量系统在高负载下的稳定性。换句话说,TP99 计算的是一组数据中排在第99%的那个值。2. 使用排序算法计算 TP99最直接的方法是将数据集进行排序,然后选择位于第 99% 处的元素。示例代码import java....阅读全文

java技术圈 2024-06-26 19:57:03 zhidiantech

解决 FPGA 在 BD Ring 上不搬运描述符的问题

最近在处理 FPGA 与 BD Ring 交互时遇到了一个棘手的问题,即 FPGA 在某些情况下并没有按预期搬运描述符。进一步调查后,发现问题很可能与中断抑制策略有关。下面,我将分享一下排查和解决这个问题的过程,希望对遇到类似问题的开发者有所帮助。背景首先,先来了解一下主要术语:FPGA(现场可编程门阵列),用于高性能计算和数据处理。BD Ring(Buffer Descriptor Ring),用于管理内存中的缓冲区描述符。中断抑制,一种优化策略,用于减少 CPU处理中断请求的频率,以提高系统...阅读全文

java技术圈 2024-06-26 14:09:44 zhidiantech

TiDB体系架构

本文分享自天翼云开发者社区《TiDB体系架构》,作者:x****n​如图所示,TiDB体系中三大组成部分:PD、TiDB Server、TiKV1.PD:负责产生全局的TSO时间、控制Region在TIkv中的分布、产生全局事务ID、还有其他ID。2.TiDB:没有数据落地,接收客户端sql语句,对sql语句进行解析和编译,最终形成执行计划。DDL语句和基于MVCC的老版本数据的回收,也是TiDB Server操作。3.TiKV:数据以键值队存储在TiKV中,主要负责数据持久化、MVCC、Cop...阅读全文

java技术圈 2024-06-24 17:33:55 Tianyiyun

HPC的基本概念

本文分享自天翼云开发者社区《HPC的基本概念》,作者:它零食抱佛jioHPC(High Performance Computing)是一种高性能计算技术,它利用大规模并行处理器集群或超级计算机等高性能计算设备,以及高速网络互联技术,实现对大规模数据和复杂计算任务的高效处理和分析。HPC根据业务场景可分为科学计算场景:科学计算场景主要用于模拟和分析科学问题,如气候模拟、天体物理学、生物医学等领域。这些计算任务通常需要大量的计算资源和高度并行的计算能力,以便处理大规模的数据和复杂的计算模型。工程计算...阅读全文

java技术圈 2024-06-24 17:31:09 Tianyiyun

浅谈OpenStack(一)

本文分享自天翼云开发者社区《浅谈OpenStack(一)》,作者:EmmaDuOpenStack刚诞生的时候比较单纯,只有计算(NASA开源)和存储(Rackspace开源)两个功能组件,至于NASA和Rackspace开源这两个项目并成立OpenStack社区(https://www.openstack.org)的原因,网络上流传了很多版本,感兴趣的同学可以去网上找找。个人认为OpenStack是一个伟大的开源项目,几乎所有的架构、所有的厂商都能在社区找到解决方案。截至到现在,OpenStac...阅读全文

java技术圈 2024-06-24 17:30:15 Tianyiyun

CBAM注意力模型介绍

本文分享自天翼云开发者社区《CBAM注意力模型介绍》,作者:Liuzijia近年来,注意力机制在各项深度学习任务中表现出色。研究表明,人类视觉感知过程中,注意力机制发挥了积极的效果,可以帮助人们高效和自适应的处理视觉信息并聚焦于显著的画面区域,从而能够做出最准确的判断。因此,通过模拟视觉注意力机制,在网络结构中加入注意力模块,使模型可以更加关注待分类图像中的关键信息,抑制不相关的特征信息,促使模型对重要的特征区域更加敏感,从而有效提升相关任务的性能。本文简要介绍一种经典的混合注意力模型CBAM。...阅读全文

java技术圈 2024-06-24 17:29:02 Tianyiyun

javaagent使用指南 - rickiyang

今天打算写一下 Javaagent,一开始我对它的概念也比较陌生,后来在别人口中听到 字节码插桩,bTrace,Arthas后面才逐渐了解到Java还提供了这么个工具。 JVM启动前静态Instrument Javaagent 是什么? Javaagent是java命令的一个参数。参数 javaagent 可以用于指定一个 jar 包,并且对该 java 包有2个要求: 这个 jar 包的 MANIFEST.MF 文件必须指定 Premain-Class 项。 Premain-Class 指定的...阅读全文

博客园 2019-08-17 15:51 博客园

使用 dmesg 和 gdb 诊断 Java 应用的 Core Dump 问题

## 引言 在 Java 应用中,尤其是在使用本地库(如通过 JNI 接口调用)的场景下,崩溃和 core dump(核心转储)的问题时有发生。这样的崩溃不仅会中断应用的正常运行,还会带来大量调试和排查的工作。本文将介绍如何使用 dmesg 和 gdb 工具分析和诊断 Java 应用的 core dump 问题,特别是在使用 Snappy 库时遇到的问题。 ## 使用 dmesg 检查 core dump 信息 当一个应用崩溃时,首先应该查看内核消息日志。dmesg 命令可以帮助我们快...阅读全文

java技术圈 2024-06-23 22:07:48 zhidiantech

理解 Java类加载器与Agent字节码插桩中的类加载问题

引言在 Java 编程中,理解类加载器的机制对开发复杂的应用和工具非常重要,尤其是在涉及 Java Agent 这样高级技术时更是如此。在本文中,我们将深入探讨 Java 类加载器的工作机制,并通过一个实际的 Java Agent 示例来展现如何解决类加载的问题。类加载器概述Java 的类加载器是负责将类文件加载到 JVM 中的组件。类加载器的工作分为三个主要的过程:加载、链接和初始化。类加载器通常按以下层次结构工作:引导类加载器(Bootstrap ClassLoader):JVM 自带的类加...阅读全文

java技术圈 2024-06-22 00:09:03 zhidiantech

迎接智算新挑战,天翼云亮相全球架构师峰会!

近日,ArchSummit全球架构师峰会在深圳隆重开幕,本次大会以“智能进阶. 架构重塑”为主题,探讨AI浪潮下,企业架构如何适应大模型和云原生的时代趋势,寻找既有应用成果又有成本效益的解决方案。国内外100余名顶尖专家齐聚一堂,围绕AI、大模型、云原生等话题展开深度交流。天翼云云网产品事业部研发专家黄坚受邀参会,并在“智算平台建设与应用实践”专题会上发表主题演讲,分享了天翼云在超大规模智算集群运维及管理方面的创新思路和实践经验。​天翼云云网产品事业部研发专家 黄坚大模型时代超大规模智算集群运维...阅读全文

java技术圈 2024-06-20 17:39:21 Tianyiyun

应对高温“烤”验,数据中心降温奇招来了!

近日,中国电子学会联合中国电子技术标准化研究院等单位,在安徽省合肥市举办“节能服务进企业”暨绿色数据中心对接推广活动。会议为天翼云存储资源盘活系统HBlock入选《国家工业和信息化领域节能降碳技术装备推荐目录(2024年版)》颁发荣誉证书;天翼云存储产品专家肖夏敏发表演讲,向业界展示了HBlock在绿色节能方面的落地实践。​创新自研,让存储绿意满满!作为云服务国家队,天翼云在大规模数字基础设施建设实践中,深刻认识到提升资源利用率的重要性。针对传统分布式存储交付难、独占硬件等痛点,天翼云自主研发了...阅读全文

java技术圈 2024-06-20 17:37:21 Tianyiyun

“翼”鸣惊人,天翼云两篇论文被ACM ICPP 2024收录!

近日,由天翼云科技有限公司弹性计算产品线天玑实验室撰写的两篇论文《PheCon: Fine-Grained VM Consolidation with Nimble Resource Defragmentation in Public Cloud Platforms》及《Yggdrasil: Reducing Network I/O Tax with (CXL-Based) Distributed Shared Memory》被ACM International Conference on Pa...阅读全文

java技术圈 2024-06-20 17:28:25 Tianyiyun

热҈热҈热҈!天翼云开出解暑“凉方”!

近期高温天气来势汹汹中央气象台连续6天发布高温预警让人直呼“热化了”!面对高温怎么办?天翼云以科技为擎助力各行各业应对高温“烤”验!智能“云”监管,提升工地“安全感”建筑业作为一个传统、密集型行业,承担着城市和基础设施建设的重要任务。每当炎夏酷暑,为了保障工程进度,建筑工人们经常头顶烈日,挥汗如雨。然而,持续高温天气对工人的身心健康、工作状态都会带来不利影响,同时也增加了安全事故的风险。如何在炎热天气下最大限度地保护工人,同时加强施工现场的安全管理,提高建筑工程质量,成为建筑业亟需解决的问题。​...阅读全文

java技术圈 2024-06-20 17:18:53 Tianyiyun

javaagent是什么

-javaagent 是 JVM 的一个命令行参数,用于指定一个或多个 Java 代理(Java Agent)JAR 文件,这些代理可以在 JVM 启动时或运行时动态地插入到应用程序中,以监控或修改其行为。Java Agent 的基本概念Java Agent 是一种特殊的 Java 程序,它利用 JVM 提供的 Instrumentation API 进行字节码操作,可以在以下方面发挥作用:性能监控:通过插桩监控代码执行的性能。AOP(面向切面编程):动态地修改类的字节码,添加横切关注点。调试和...阅读全文

java技术圈 2024-06-20 16:51:16 zhidiantech

“软件系统三高问题”高并发、高性能、高可用系统设计经验

总的来说解决三高问题核心就是 “分字诀” 业务分层、系统分级、服务分布、数据库分库/表、动静分离、同步拆分成异步、单线程分解成多线程、原数据缓存分离、分流等等。。。。直观的表述就是:从前端用的CDN、动静分离,到后台服务拆分成微服务、分布式、负载均衡、缓存、池化、多线程、IO、分库表、搜索引擎等等。都是强调一个“分”字。 原文地址: 【高并发、高性能、高可用】系统设计经验 软件开发通常会提到一个名词 “三高”,即高并发、高性能、高可用。 具体的指标定义,如:高并发方面要求QPS 大于 10万;高...阅读全文

阿里云开发者社区 2022-06-27 00:00 阿里云开发者社区

服务网格自动故障检测及流量切换方案

本文分享自天翼云开发者社区《服务网格自动故障检测及流量切换方案》,作者:s****n随着云原生技术的发展,越来越多的应用采用容器,微服务技术,以istio为代表的服务网格就是其中最广泛使用的一种。它在业务容器创建时,自动向业务服务的pod中注入proxy容器边车,将流入和流出业务容器的网络流量全部劫持到proxy容器,经由proxy容器处理后再进行下一步转发。Proxy容器的处理规则通过istiod控制面下发,主要分为流量控制、安全、可观测性三大类。以可观测性为例的大量规则都仅对流经的数据进行统...阅读全文

java技术圈 2024-06-17 15:32:24 Tianyiyun

镜像供应链安全

本文分享自天翼云开发者社区《镜像供应链安全》,作者:黄****坚容器技术重塑了整个软件供应链。容器镜像将应用及其所依赖项打包,从而使应用可以在不同的计算环境之间快速、可靠地运行。容器镜像已经成为了应用分发的标准。镜像供应链安全应支持:签名私钥:对接统一密钥管理系统或使用自签秘钥工具。镜像签名:在镜像构建后使用私钥对镜像进行签名,并将镜像签名数据传递到容器镜像仓库。镜像验签:当工作负载在集群内进行部署时,kubernetes回调验签插件,验签插件对工作负载所使用的镜像所对应的签名文件进行验证,验签...阅读全文

java技术圈 2024-06-14 15:01:48 Tianyiyun

使用天翼云云容器引擎CCE创建简单nginx服务

本文分享自天翼云开发者社区《使用天翼云云容器引擎CCE创建简单nginx服务》,作者:b****n一、创建一个nginx应用。1.选择资源池,如【杭州2】,进入云容器引擎CCE平台页面;2.单击左侧导航栏的【工作负载】>【无状态】,进入无状态应用列表;3.在【无状态】页下,单击【创建应用】按钮,进入应用创建页面;4.按照页面提示填写,包含基本信息、容器设置、添加服务、高级配置几步;​5.容器设置时选择nginx镜像;​6.服务访问设置;​7.创建完成后,根据所选择方式访问服务即可。 图像 小部件...阅读全文

java技术圈 2024-06-14 15:00:17 Tianyiyun