java技术圈 为您找到相关结果 100

VirtualBox扩容失败-Progress state: VBOX_E_NOT_SUPPORTED Resizing to new size 16231956480 is not yet_weixin_40542512的博客

使用VirtualBox时,发现一个分区大小不够用,使用resize扩容,提示失败。 D:\VirtualBox>VBoxManage modifyhd "D:\vx\docker1\docker1.vdi" --resize 15480 0%... Progress state: VBOX_E_NOT_SUPPORTED VBoxManage.exe: error: Failed to resize medium VBoxManage.exe: error: Resizing to new size 16231956480 is not yet supported for medium 'D:\vx\docker1\docker1.vdi' VBoxManage.exe: error: D...阅读全文

博文 2020-08-08 08:14:41 CSDN博客

[转]Java中的事务——JDBC事务和JTA事务

本文转载自http://www.hollischuang.com/archives/1658 Java事务的类型有三种:JDBC事务、JTA(Java Transaction API)事务、容器事务。 常见的容器事务如Spring事务,容器事务主要是J2EE应用服务器提供的,容器事务大多是基于JTA完成,这是一个基于JNDI的,相当复杂的API实现。所以本文暂不讨论容器事务。本文主要介绍J2EE开发中两个比较基本的事务:JDBC事务和JTA事务。 JDBC事务 JDBC的一切行为包括事务是基于一个Connection的,在JDBC中是通过Connection对象进行事务管理。在JDBC中,常用的和事务相关的方法是: setAutoCommit、commit、rollback等。 Java_j...阅读全文

博文 2019-04-04 09:46:22 www.allocmem.com

【Spark调优】小表join大表数据倾斜解决方案

【使用场景】 对RDD使用join类操作,或者是在Spark SQL中使用join语句时,而且join操作中的一个RDD或表的数据量比较小(例如几百MB或者1~2GB),比较适用此方案。 【解决方案】 小表join大表转为小表broadcast+map大表实现。具体为: 普通的join是会shuffle的,而一旦shuffle,就相当于会将相同key的数据拉取到一个shuffle read task中再进行join,此时就是reduce join,此时如果发生数据倾斜,影响处理性能,而此时恰好一个RDD是比较小的,则可以采用广播小RDD全量数据+map算子来实现与join同样的效果,也就是map join,因为这样不会发生shuffle,也就不会发生数据倾斜。 也就是说,不使用join算子进...阅读全文

博文 2021-05-17 13:18:52 www.shuzhiduo.com

用Elasticsearch做Terms聚合计算数据不准的问题

在上一篇文章 通过某瓣真实案例看 Elasticsearch 优化 写了最近获得的一些优化 Elasticsearch (以下简称 ES) 的经验,也把这些分享给厂内使用 ES 的同事和萨 (SA)。 讨论中萨同事提了一个问题: 话说项目有 topK 这种聚合请求么?记得多分片情况下请求参数不合理可能出现不准确的聚合结果 我当时看完的第一反应是「啥?」,但是同事一提我突然隐约想起来曾经在什么地方看过这个问题。然后一顿搜索找到了官方文档的说明 (延伸阅读链接 1),我详细的说说 聚合的结果不准确的原因 我们假设要聚合符合某要求的 N 个结果 (也就是请求参数中的 size),ES 集群分片数为 S。 ES 分发聚合请求到所有的分片上单独处理,最后汇总结果。在单个分片的聚合过程中会把每个要聚合的...阅读全文

博文 2021-06-11 13:44:49 小明明s à domicile

java.lang.OutOfMemoryError:GC overhead limit exceeded

### 前言 在我们写的java service里,需要加载一个比较大的算法模型pmml文件.在此模型文件由500M+变为1G+的时候,在测试环境中出现了此问题 ### 异常由来 > GC overhead limt exceed检查是Hotspot VM 1.6定义的一个策略,通过统计GC时间来预测是否要OOM了,提前抛出异常,防止OOM发生。Sun 官方对此的定义是:“并行/并发回收器在GC回收时间过长时会抛出OutOfMemroyError。过长的定义是,超过98%的时间用来做GC并且回收了不到2%的堆内存。用来避免内存过小造成应用不能正常工作。 代码中使用静态对象的方式用来在多线程中共享此文件模型,由于加载文件过大,并且长时间的GC回收了不到2%的内存,于是抛...阅读全文

CORNERSTONE一站式云端DevOps平台为各企业DevOps解决方案而生

在数字化和AI时代,软件及提供在线服务的系统的战略地位越来越高;同时随着市场竞争的加剧,每个企业都在思考如何更快速地满足用户诉求,将有价值的服务提供给客户。DevOps作为一种全新的软件开发协作模式,正是在这种背景下诞生的,它强调研发组织内部不同角色的沟通、尽可能的自动化一切操作,不断地获得反馈以寻找提升效能的机会。 DevOps正在被越来越多的企业所认可和适用,例如:腾讯、阿里巴巴、百度、华为等。 [CORNERSTONE](https://www.cornerstone365.cn)一站式云端DevOps平台内部通过多年对软件工程的研究和实践,研究出了一套适用于不同业务形态、团队规模研发组织的DevOps方法论,并将其核心的理念整合进入工具链当中,形成了一套从...阅读全文

chrome 发送请求出现:Provisional headers are shown 提示 - 个人文章

Maldivee 129 chrome 发送请求出现:Provisional headers are shown 提示 javascript 更新于 2019-02-20 约 2 分钟 一般来说,如果看到provisional headers are shown这个提示,说明这个请求并没有发送出去。 具体原因有多种总结如下:1.请求被某些扩展如 Adblock 拦截了,请求被浏览器插件拦截。解决方案:用 chrome://net-internals 来帮助你查找被屏蔽的请求以及可能的原因。(本人发现现在这个用不了了)2.请求被墙了3.走本地缓存或者 dataurl 的请求。强缓存from disk cache或者from memory cache,此时也不会显示4.服务器出错或者超时,没有真...阅读全文

博文 2020-04-29 03:28:27 SegmentFault 思否

golang包管理解决之道——go modules初探 - apocelipes

golang的包管理是一直是为人诟病之处,从golang1.5引入的vendor机制,到准官方工具dep,目前为止还没一个简便的解决方案。 不过现在go modules随着golang1.11的发布而和我们见面了,这是官方提倡的新的包管理,乃至项目管理机制,可以不再需要GOPATH的存在。 go module的初始化 现在modules机制仍在早期阶段,所以golang提供了一个环境变量“GO111MODULE”,默认值为auto,如果当前目录里有go.mod文件,就使用go modules,否则使用旧的GOPATH和vendor机制,因为在modules机制下go get只会下载go modules,这一行为会在以后版本中成为默认值,这里我们保持auto即可,如果你想直接使用modules...阅读全文

博文 2019-05-24 07:59:00 博客园

Illegal mix of collations (utf8mb4_general_ci,IMPLICIT) and (utf8mb4_unicode_ci,IMPLICIT) for operation '<>' - wqbin

1.问题 今天又在mysql中遇到了,吐血。 2.解决方案 SQL最后加上 COLLATE utf8mb4_unicode_ci SELECT t2.cust_id as cust_id_ex,t1.* from ( SELECT * from credit_nigeria.apply WHERE updateTime>"2019-11-10" ) t1 RIGHT JOIN ( SELECT cust_id from bank_nigeria.ng_trans_record WHERE update_Time>"2019-11-18 04" and update_Time<"2019-11-18 05" and pay_type="xx" ) t2 on t1.custid=t2.cust...阅读全文

博文 2020-12-28 02:57:22 博客园

互联网浪潮下,项目经理该如何应变?

企业不同的发展阶段对项目管理的形式、对项目经理有着不同的期望,企业的发展正对应着一个项目经理的发展方向。 一、从零到一组建项目管理团队,重点在理不在管 首先,对于从零开始组建项目管理团队的公司,这时候普遍的问题是技术团队开始庞大(可能超过100人了),天天加班,需求推进缓慢。 项目管理团队在这个时点介入的重点在于理而不在于管: 1、首要任务是梳理清楚目前各个业务线或者产品线的工作流程,并清晰化当前正在做的以及规划中的各种需求和资源。 2、派驻项目经理到具体的业务产品线里,跟技术团队一起工作,规范化日常的需求或小项目,例如按周或按日出进度报告,把每一个需求都具体到明确的人来跟进。 3、理清项目完成的进度,解决方案,让老板能一目了然看清楚整个团队在做些什么...阅读全文

为什么“@微信官方”会突然刷爆朋友圈?如何打造一场爆款活动?

为了庆祝咱们伟大祖国母亲七十岁生日,无论是网络上还是现实生活中都充满了过节的气氛! 这不,腾讯为了迎接这个神圣而又伟大的日子,特意推出了一项给头像加国旗的服务!相信这两天大家都被这一条朋友圈刷屏了...... “请给我一面国旗@微信官方” ![image.pngimage.png](https://img-blog.csdnimg.cn/20190925171109145.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTM3NDkz,size_16,color_FFFFFF,t_70) ![image.png](htt...阅读全文

博文 2019-09-26 08:44:18 CORNERSTONE

身为一个产品经理,如何具备“高级感”?

身为一个产品经理,如何具备“高级感”? 这是我在网上看到的一个问题,觉得挺有意思的。 说到高级,除了个人能力,还有就是不同的产品职级阶段。比如高级产品经理、资深产品经理、产品专家等。 不同的公司对产品职级的定义不一样,横向对比不具备普遍参考性。 另外,就是根据工作年限来划分职级。 大部分公司招聘时,都会要求有 1-3 年或者 3-5 年的产品经验。 但工作年限真的等于有效经验么? 干了 5 年产品,不代表有 5 年产品经验,工作 3 年,同样能成为产品总监。 对于产品经理的学习和成长,说说我的看法。 一、思考功能 vs 思考场景 在跟一些刚做产品的同学交流时,发现大家更多的是关注产品功能和交互体验。 功能全不代表产品好,从功能...阅读全文

理解RTMP、HttpFlv和HLS的正确姿势

登录注册写文章首页下载APPIT技术抽奖理解RTMP、HttpFlv和HLS的正确姿势北塔资讯关注赞赏支持理解RTMP、HttpFlv和HLS的正确姿势 需求比协议重要,理解你的需求在前,选择应用的协议在后! 第一、是什么? 解释这个问题有很大的难度,你所处的角度不同,决定了所需答案的不同。不管怎么样,协议是为了解决问题而生的,它有着天然的指向性。同时,也有着它自身的局限。这三个协议的背后,有着一段凄美的爱情故事。我说说,你听听,在想当初…. 千禧年的钟声敲响了,人们迈进了一个新的世纪。当时的移动和联通还不能互发信息,手机是什么样咱们心里也多少有点儿数。就在这样的环境里,就在这样一个网络生存条件下,一小撮内心躁动的人开始不安了!它就是Macromedia。 Macromedia 对,就是它。...阅读全文

MapReduce 数据倾斜原因和解决方案_一次次尝试

MapReduce简介 MapReduce是面向大数据并行处理的计算模型、框架和平台,它隐含了以下三层含义: 1)MapReduce是一个基于集群的高性能并行计算平台(Cluster Infrastructure)。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群。 2)MapReduce是一个并行计算与运行软件框架(Software Framework)。它提供了一个庞大但设计精良的并行计算软件框架,能自动完成计算任务的并行化处理,自动划分计算数据和计算任务,在集群节点上自动分配和执行任务以及收集计算结果,将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理,大大减少了软件开发人员的负担。 3)MapReduce是一...阅读全文

博文 2021-02-22 04:44:09 CSDN博客_mapreduce数据倾斜原因

HBase教程™

自1970年以来,关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后,好多公司实现处理大数据并从中受益,并开始选择像 Hadoop 的解决方案。 Hadoop使用分布式文件系统,用于存储大数据,并使用MapReduce来处理。Hadoop擅长于存储各种格式的庞大的数据,任意的格式甚至非结构化的处理。 Hadoop的限制 Hadoop只能执行批量处理,并且只以顺序方式访问数据。这意味着必须搜索整个数据集,即使是最简单的搜索工作。 当处理结果在另一个庞大的数据集,也是按顺序处理一个巨大的数据集。在这一点上,一个新的解决方案,需要访问数据中的任何点(随机访问)单元。 Hadoop随机存取数据库 应用程序,如HBase, Cassandra, couchDB, Dynamo 和 Mong...阅读全文

博文 2020-05-15 08:17:49 www.yiibai.com

敏捷开发的那些事

“敏捷”这个词近几年非常火,经常会有人问:“我们应该怎样开始做敏捷?”或者:“能不能来帮我们推一下敏捷?敏捷有很多实践,管理的、工程的都有,但敏捷绝非我们看到的站会、持续集成、TDD等那么简单,真正的敏捷体系是从理念到文化的一次变革。 敏捷作为一种快速应对需求变化的新兴软件开发模式,正受到越来越广泛的关注和应用。它强调快速验证,表现为快速上线、快速根据反馈迭代产品。 今天在这里给大家推荐一款敏捷项目管理平台—CORNERSTONE,那么,究竟是什么样的呢?让我们一起来体验吧~ CORNERSTONE 敏捷项目管理解决方案特点为全角色、全流程、支持中大型团队: 提供包含项目管理、产品、运营、研发、测试等各职能角色在内的完整解决方案。 为需求管理、迭代规划、进度跟踪等经典 Scrum 环节提供工...阅读全文

博文 2020-03-19 07:11:56 CORNERSTONE

如何有效利用企业资源,发挥Scrum最大优势?

Scrum与组织的关系 ![image.png](https://img-blog.csdnimg.cn/20191224172145560.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzQxMTM3NDkz,size_16,color_FFFFFF,t_70) Scrum是一种能使业务变得敏捷的框架,而企业恰恰需要变得敏捷。只是,企业本身有时候并没有足够的能力来帮助Scrum团队的成长,甚至还会阻碍Scrum团队的成长。 企业能以什么样的方式最大限度地发挥Scrum的优势?又在哪些方面阻碍了个人的发展? 企业本身所具备的公...阅读全文

博文 2019-12-25 08:19:34 CORNERSTONE

产品经理,项目经理和技术经理是如何一起协作管理的?

在软件项目开发中有一些不同的角色,但很容易让人陷入在概念和责任交叉的误区里。 在本文中,我们着重来过考量 IT互联网行业的三个主要职位:产品经理,项目经理和产品经理。这些专家都是项目开发的关键角色,似乎挺相像,但是区分他们的专业边界很重要。 角色定义 让我们开始深入分析这些职业的概念。想请大家注意一个小细节,尽管我们把这三个管理者角色合并在一篇文章里,但它们几个角色的性质是完全不同的。 产品经理 ![image.png](https://img-blog.csdnimg.cn/20200421152130261.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nL...阅读全文

为什么大公司都开始用SaaS了?

SaaS应用程序的核心指导原则之一,是通过应用程序的共享多租户体系结构为尽可能多的客户提供服务。 用户之所以能从这个共享模式中受益,是因为软件供应商能够利用规模经济,借助广泛的功能和工作流程、高水平的安全性和服务的可用性来传递价值。 这在以前只有“财富500强”公司才能做到。 不过,这种基于云的现成软件解决方案的民主化,它的另一面是,在谈及根据自身实际需求定制解决方案时,企业必须权衡一定程度的灵活性。 在SaaS之前,公司采用的其中一个传统方法是购买现成的本地解决方案,然后外包给承包商定制及实现。 另一种方法是在公司内部构建你所需的软件,这对预算较高的大公司来说完全负担得起。 这两种方法使企业能够对IT解决方案进行更高程度的定制,但都存在令人头痛的问题,包括营运费用的维护,以及他们雄心勃勃的...阅读全文

如何选择合适的小型项目管理工具?

小型项目通常是指工作量在三人至十几人之间的项目,这类项目一般是放任自流,少有管理,通常具有投资少、人员少、时间紧、需求不明确等特点。 如借助小型项目管理工具,可以节省大量时间和避免资源浪费,提高项目效率。 下面介绍小型项目团队常遇到的问题,以及项目管理工具是如何有效协助解决这些问题的,与大家一起分享交流。 因资源有限,小型项目团队很少设有专职的项目经理控制项目进度,以至于规范的项目管理方法常常被忽视。 另一方面,由于小型项目直接沟通成本较低,过多的项目管理流程反而使得项目执行过程变得更繁琐。 也正因为这样,在项目管理过程中,小型项目团队大多数会遇到以下问题: 1、项目质量、进度跟不上 小型项目执行过程中,缺乏统一的项目工作流程,不知道先做什么再做什么,没有一一个详细的规划,往往等事情发生了才...阅读全文

博文 2020-07-16 07:43:02 CORNERSTONE

Java支付全家桶:企业级各类支付手段一站式解决方案

点击下载:Java支付全家桶:企业级各类支付手段一站式解决方案完整无密不久前新闻头条:《支付宝在2019年新增4亿行代码引热议》以及风投关注的宝典-《金融博览》指出:支付将迎来新的风口,两则消息均证明了:强如阿里,甚至风投都如此重视和关注支付领域,因此,学支付方能立于不败之地!Java企业级支付一站式解决方案(赠送超值配套电子书:http://dwz.date/aMfA)...1-1 Java企业级支付一站式解决方案试看第2章 学前准备学习并掌握微信、支付宝、银联三种支付方式的区别和差异,并且为开发支付程序搭建前后端分离的工程,创建数据库,安装好开发工具。2-1 主流支付渠道说明【企业级支付形式心中有数】试看2-2 带你配置开发环境2-3 搭建前端后端分离项目2-4 本章内容总结第3章 UN...阅读全文

博文 2020-07-30 01:27:03 jmterorh

Redis系列 | 缓存穿透、击穿、雪崩、预热、更新、降级 - 云+社区

Redis是高性能的分布式内存数据库,对于内存数据库经常会出现下面几种情况,也经常会出现在Redis面试题中:缓存穿透、缓存击穿、缓存雪崩、缓存预热、缓存更新、缓存降级。本篇分别介绍这些概念以及对应的解决方案。目录缓存穿透缓存击穿缓存雪崩缓存预热缓存更新缓存降级缓存穿透当查询Redis中没有的数据时,该查询会下沉到数据库层,同时数据库层也没有该数据,当这种情况大量出现或被恶意攻击时,接口的访问全部透过Redis访问数据库,而数据库中也没有这些数据,我们称这种现象为"缓存穿透"。缓存穿透会穿透Redis的保护,提升底层数据库的负载压力,同时这类穿透查询没有数据返回也造成了网络和计算资源的浪费。解决方案:在接口访问层对用户做校验,如接口传参、登陆状态、n秒内访问接口的次数;利用布隆过滤器,将数据...阅读全文

博文 2022-03-23 12:55:34 腾讯云

前端性能优化--6大角度综合型优化方案

下载地址:百度网盘前端性能优化--6大角度综合型优化方案我们常说性能永远是第一需求,作为一个前端工程师,不管使用什么框架,不管从事什么类型的网站或应用开发,只要是项目被用户使用,性能优化就永远是你需要关注的问题。通常情况下,工程师们在深入了解前端技术的原理后,才能总结出性能优化的方案,需要多年经验的积累。前端技术日新月异,优秀的性能优化方案在近几年也层出不穷。本课程,我会带你使用当今行业中非常前沿&专业的方案,解决前端性能优化问题。无论是为了解决工作中的实际问题,还是为了提升能力,这门课都能帮到你。适合人群1-3年开发经验的前端开发者 初入社会的毕业生技术储备要求HTML/CSS/JS基础 基本的Webpack, React, Node.js知识第1章 课程介绍介绍这门课程要讲的主要内容,讲...阅读全文

蚂蚁集团智能可观测平台 HoloInsight 正式开源

今天,经过近一年的研发工作,很高兴和大家同步:HoloInsight 项目正式开源了代码主仓库的 GitHub 地址为:1.HoloInsight 介绍HoloInsight 是一款云原生时代的轻量化、全功能的智能可观测性技术平台。它是蚂蚁集团内部研发了近 10 年的观测平台 AntMonitor 的开源版本。经过多年大型互联网公司内部复杂场景的驱动,AntMonitor 在可观测领域沉淀了很多独特经验,是蚂蚁集团研发、测试、SRE 等人员进行故障应急处理和日常问题分析的重要平台。我们非常希望能将这些经验和业界进行共同探讨与共同演进,为此我们开源了 HoloInsight。HoloInsight 设计上是作为集数据采集、洞察分析、智能告警的一站式可观测综合解决方案,以帮助用户清晰观测整个软件...阅读全文

博文 2023-10-12 19:52:59 知乎

Java异常与调优一站式解决方案

download:Java异常与调优一站式解决方案function dealDate(date1,date2){ date1 = new Date(date1);//如果传进来的是"yyyy-MM-dd"形式的字符串 date2 = new Date(date2); var year1 = date1.getFullYear(); var month1 = date1.getMonth()+1; var day1 = date1.getDate(); var dateMax1 = new Date(year1,month1,0); var dayMax1 = dateMax1.getDate(); var year2 = date2.getFullYear(); var month2 = d...阅读全文

博文 2021-06-25 18:19:23 kakayin123

[完结16章]SpringCloudAlibaba高并发仿斗鱼直播平台实战

![1.png](http://static.itsharecircle.com/231109/93f4a0efd03aa5a122e4afbc24d68d6a.png) 直播领域发展迅速,人才需求量极大,但能完整驾驭高并发场景下直播场景的人才还不多。 本课程通过六个高并发场景-用户中台服务,IM即时通讯,礼物打赏、直播PK、红包雨、直播带货秒杀,带你从0到1,循序渐进实战落地,让你对直播业务场景有更透彻的理解,对直播技术栈有更全面的掌握,对高并发解决方案有更强的设计与实战能力。课程旨在助力你提升在直播领域的职业竞争力。 六大高并发场景驱动教学,轻松玩转直播业务,从容面对三高难题 1、从0到1完整搞定六大高并发场景 掌握用户中台系统架构设计与开发 掌握高并发场景下的IM架构体系 掌握礼物、钱...阅读全文

博文 2023-11-09 14:56:33 kaidnxhd2023

数字先锋|少跑多办!天翼云助力安徽政务跑出便民利企“加速度”

手机已经成为当今社会不可或缺的智能工具之一。在数字技术的综合运用下,越来越多的政务服务登上云端,居民通过一部手机便能解决很多事情。“以前无论办什么事情都要先到单位请假,再去线下排队办理,费时又费力。现在通过皖事通APP,办事大厅一趟都不用跑了,非常方便。”安徽省合肥市庐阳区市民郭先生表示。“皖事通”是安徽落实“数字安徽”建设、推进一体化政务服务的集中缩影。自APP上线以来,平台实现了对公积金、居住证办理,交通违法缴费,疫苗预约等一系列便民服务的一键办理,群众办事方便又快捷,政务服务质效得到极大提升。​目前,数字技术广泛应用于政府管理服务。据安徽省大数据中心副主任刘扬介绍,去年7月,安徽省委省政府联合印发了《“数字安徽”建设总体方案》,统筹“数字安徽”建设、运维、管理等机制,建立健全安全和标准...阅读全文

博文 2023-07-20 10:57:51 Tianyiyun

筑牢网络安全防线,天翼云签署《云计算服务安全自律公约》!

9月11日至17日,以“网络安全为人民,网络安全靠人民”为主题的2023年国家网络安全宣传周在全国范围内展开。15日,在云计算服务安全分论坛上,中国电信天翼云等8家头部云计算服务商联合发起了自律公约倡议,共同起草了《云计算服务安全自律公约》。天翼云科技有限公司副总经理、首席网络安全官广小明出席仪式并签署公约。​《云计算服务安全自律公约》围绕云平台所面临的普遍问题和重点问题,在法律法规框架内,针对云计算企业完善安全管理体系、规范开展安全运维流程、保障用户数据安全、维护公平竞争环境等方面提出了更高的要求。作为云服务国家队,天翼云始终把安全视为重中之重,秉持建设网络强国、数字中国和维护国家网信安全的使命责任,坚持核心技术自主攻关,走出了一条以科技创新驱动高质量发展之路。以云操作系统为核心,天翼云从...阅读全文

存储成本下降66%,得物云原生全链路追踪架构实践_Trace_数据_采样

存储成本下降66%,得物云原生全链路追踪架构实践 2022-10-20 09:54 来源: dbaplus社群 发布于:广东省 原标题:存储成本下降66%,得物云原生全链路追踪架构实践 分布式链路追踪作为解决分布式应用可观测问题的重要技术,得物全链路追踪(简称Trace2.0)基于OpenTelemetry提供的可观测标准方案实现新一代的一站式全链路观测诊断平台,并通过全量采集Trace帮助业务提高故障诊断、性能优化、架构治理的效率。 全量采集Trace数据(日增数百TB 、数千亿条Span数据)并以较低的成本保证数据的实时处理与高效查询,对Trace2.0后端整体的可观测性解决方案提出了极高的要求。本文将详细介绍Trace2.0背后的架构设计、尾部采样和冷热存储方案,以及我们是如何通过自建...阅读全文

博文 2023-10-12 16:26:20 roll.sohu.com

行于“云”上,“翼”路顺畅!

9月11日,由中国交通报社、中国交通运输协会主办的2023北京数字交通大会在北京召开。天翼云科技有限公司央企行业中心解决方案专家沈凯龙参加数字交通全栈能力创新论坛并发表演讲,分享了天翼云的技术能力与优势,以及在数字交通创新发展方面的探索与成果。​在人工智能、大数据、云计算等创新技术的驱动下,数字交通建设迎来关键发展期。作为云服务国家队,天翼云在数字交通领域持续发力,为支撑交通运输高质量发展、加快建设交通强国、更好地服务数字中国战略提供强力引擎。在IaaS层面天翼云满足不同交通场景部署需求,提供公有云、私有云、混合云、专属云、边缘云等多种产品形态,如智能边缘云可就近提供边缘智能服务,适用于火车站、加油站等各类交通节点;专属云则适合于对安全和性能有更高要求的客户需求,如客户需部署两客一危监管平台...阅读全文

强强联合!天翼云与神州信息共助银行数字化转型升级!

近日,天翼云与神州信息完成神州信息银行分布式核心系统与天翼云4.0云平台及TeleDB数据库的适配认证工作,标志着双方联合推出的“银行核心业务系统联合解决方案”生产环境投产成功。​此次适配认证工作,是双方基于金融行业的监管要求,在银行的实际业务生产环境下,开展核心应用系统各项应用功能在云环境下的各项性能验证。最终联合解决方案的各项指标,满足各类型商业银行包括账户/客户管理、交易核算分离、运营管理、风险管理等不同业务场景的金融级业务需求。适配认证工作的成功,为双方在后续金融领域联合解决方案的推广夯实了基础。双方表示,未来将基于自主可控的“国云底座”,为银行建设安全、高效、稳定的“银行分布式核心业务系统”,更好地推动银行数字化转型。神州信息的银行核心系统以其高效率、高可靠性和高可用性等特点备受称...阅读全文

博文 2023-09-28 14:17:17 Tianyiyun

数字先锋|天翼云赋能巨龙电机打造“智慧工厂”,让企业发展“新”中有“数”!

制造业是立国之本、强国之基,决定了一个国家的综合实力和国际竞争力。数字技术作为加快制造业质量变革、效率变革、动力变革的关键技术,成为推动制造业提质增效、实现产业链现代化的重要力量。在此背景下,全国各地的制造业企业纷纷走上数字化转型之路,发力数实融合,进一步提高经济发展势能。有着“中国中小电机之都”称号的福安市,近年来积极锚定数字化转型战略,不断探索制造业“智变”之路,推动当地传统电机电器产业旧貌换新颜。作为福安电机电器龙头企业之一,巨龙电机(宁德)有限公司(以下简称“巨龙电机”)与中国电信共同打造了“5G智慧工厂”。天翼云通过“5G+iStack私有云”解决方案,仅用15天时间便助力巨龙电机完成设备部署,同时积极推动巨龙电机实现系统、数据上云,让企业数据价值得到充分释放。数字化升级在即如何让...阅读全文

构建一体化云原生安全防护体系,天翼云红盾护航企业云上安全!

8月25日,由中国信通院、中国通信标准化协会主办的“2023首届SecGo云和软件安全大会”在北京召开。会上公布了2023年度可信安全最新评估结果,中国电信天翼云顺利通过首批云堡垒机能力评估,云安全能力再获认可。天翼云科技有限公司云网安全事业部产品总监宋志明参会发表演讲,介绍了天翼云在一体化云原生安全防护体系方面的思考与实践。​近年来,云原生技术逐渐成为企业上云的重要发展方向,云原生安全作为新的安全理念被频频提出,成为安全领域的重要赛道。越来越多企业以原生思维推进云上安全建设、部署与应用,以应对日趋复杂且多元化的安全管理挑战。作为云服务国家队,天翼云肩负维护网信安全的重要责任和使命。为满足各行业客户安全合规需求,天翼云不断完善自身安全产品体系和能力优势,创新突破云原生安全关键技术,打造了国云...阅读全文

博文 2023-09-01 10:00:39 Tianyiyun

技术干货|腾云忆想架构师教你解决Elasticsearch集群负载不均的问题

导读腾讯云 Elasticsearch Service(ES)是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务,包含 Kibana 及常用插件,并集成了安全、SQL、机器学习、告警、监控等高级特性(X-Pack)。本文描述在实际使用中,经常会遇到的ES集群负载不均的问题,并结合多种场景进行分析、解决,以及如何避免。作者简介岳涛腾云忆想大数据产品架构师,多年分布式、高并发大数据系统的研发、系统架构设计经验,擅长主流大数据架构技术平台的落地和实施。目前专注于大数据架构相关组件的研究推广和最佳实践的沉淀,致力于帮助企业完成数字化转型。一、背景ES集群在某些情况下会出现CPU使用率高的现象,具体有两种表现:1. 个别节点CPU使用率...阅读全文

HBase调优 —— rowkey设计的三大原则与热点问题的解决方案_hbaserowkey长度不一致 有什么问题吗?_一纸春秋的博客

在hbase中,rowkey的设计应该遵循三大原则 rowkey唯一原则 hbase中数据是以k-v格式存储的,rowkey可以类比为mysql里面的key值,因此在hbase的一张表里面,rowkey不应该重复。而且一个rowkey只能对应一条数据,用rowkey去get表里面的数据时,返回的应该是唯一一条对应的数据记录,不应该返回多条 另外,因为rowkey是按照字典顺序排序存储的,所以可以将经常读取的数据存储到一块,将最近可能会被访问的数据放到一块。不过这样做虽然方便了scan等范围查询数据,也可能会导致热点问题 rowkey长度原则 rowkey的长度原则就是说,rowkey的长度不应该过长 过长会导致rowkey在memStore中占据的内存空间过大,而实际数据占据的空间很小,只写...阅读全文

博文 2023-09-21 14:26:22 CSDN博客

【10章】SpringBoot 3 + Flutter3 实战低代码运营管理

【10章】SpringBoot 3 + Flutter3 实战低代码运营管理 给大家分享一套课程——SpringBoot 3 + Flutter3 实战低代码运营管理,共10章,课程包更新,附源码。 低代码(Low Code)是一种可视化的应用开发方法,用较少的代码、以较快的速度来交付应用程序,将程序员不想开发的代码做到自动化,称之为低代码。 低代码是一组数字技术工具平台,基于图形化拖拽、参数化配置等更为高效的方式,实现快速构建、数据编排、连接生态、中台服务。通过少量代码或不用代码实现数字化转型中的场景应用创新。 低代码的底层逻辑还是一个开发平台,需要对个性化的需求开放实现途径 场景构建能力:通过图形可视化,拖拉拽方式就能快速构建运营管理所需的应用场景,敏捷响应需求变更的快速迭代,做到调研即...阅读全文

博文 2023-11-22 16:06:09 woaiwodejia333

领导者!天翼云持续领跑中国政务云服务市场

近日,IDC发布的《IDC MarketScape:中国政务云解决方案2023年厂商评估》报告显示,中国电信天翼云稳居政务云解决方案“领导者”类别,政务服务能力再获权威认可。​继IDC发布的《中国政务云市场份额,2022:公有云基础设施》、2022H1《中国智慧城市半年度数据跟踪报告:政务云部分》、2021年《中国智慧城市数据跟踪报告》中连续三次问鼎中国政务公有云基础设施市场第一,以及在赛迪顾问《2022-2023年中国政务云市场研究年度报告》中斩获中国政务云IaaS和政务私有云IaaS市场双料第一之后,天翼云又一次领跑政务云市场。IDC对入选《IDC MarketScape:中国政务云解决方案2023年厂商评估》的厂商能力标准和战略指标进行了综合评估。能力评估标准包括产品功能与服务、产品组...阅读全文

博文 2023-10-20 16:14:24 Tianyiyun

亮相2023全球工业互联网大会,天翼云为工业夯实算力底座!

10月18日至20日,由工业和信息化部、中国科学技术协会和辽宁省人民政府共同主办的2023全球工业互联网大会在沈阳召开。天翼云科技有限公司北方中心解决方案专家马丙强参加“数聚工业 世界互联”中德工业互联网高端论坛,分享了天翼云在打造自主可控云网算力、构建数字中国基础方面的探索与实践。​作为数字中国建设主力军、云服务国家队,天翼云积极响应国家“东数西算”战略布局,持续加码算力基础设施建设以及国产化生态适配,打造核心技术自主可控的安全可信算力生态与高水平算力体系,为数字中国建设筑牢算力底座。随着工业互联网向数字化、智能化发展,机器学习、语言处理等智算需求,以及工业设计仿真计算,汽车行业大型碰撞计算等超算需求日益旺盛,天翼云面向智算和超算需求,着力打造云、智、超一体化的高性能算力平台,为用户提供多...阅读全文

竞放数字力量,释放无限潜能!

11月22日-23日,2023第八届IDC中国数字化转型年度盛典在北京召开。天翼云亮相峰会主论坛及多个专题论坛,分享了在技术与产品体系方面,尤其是在智算平台和大模型应用方面的探索与实践;与现场的行业意见领-袖、企业代表等嘉宾共探如何以技术创新为驱动,共谋行业高质量发展。打造国内领先智算服务构造AI时代强大基石当前,新一轮科技革命和产业变革正在向纵深演进,算力基础设施的重要性不断提升,尤其今年以来随着人工智能大模型应用的深入推进,智算需求迎来爆发式增长。天翼云作为云服务国家队,不断加强数字基础设施建设,为千行百业转型升级筑牢智算底座。​中国电信集团高-级技术专家天翼云行业解决方案总监祁超在峰会主论坛上,中国电信集团高-级技术专家、天翼云行业解决方案总监祁超表示,天翼云始终坚持科技创新,不断加强...阅读全文

解决云电脑无法使用本地终端连接的USB设备

本文分享自天翼云开发者社区《解决云电脑无法使用本地终端连接的USB设备》,作者:2****m云计算技术的广泛应用已经改变了我们对计算资源的使用方式。云电脑作为云计算的一个重要应用场景,提供了一种将计算资源从本地转移到云端的解决方案。通过云电脑,用户可以在任何地方使用云服务提供商的计算资源,而无需购买和维护自己的硬件设备。然而,在使用云电脑时,有时候我们可能会遇到无法使用本地终端连接的USB设备的问题。一、问题描述在使用云电脑时,我们通常会将本地终端(如个人电脑、笔记本电脑等)与云端的虚拟机进行连接。通过这种连接方式,我们可以在本地终端上使用云端虚拟机的计算资源。然而,有时候我们可能会遇到无法使用本地终端连接的USB设备的问题。具体表现为无法在云端虚拟机中识别和使用本地终端连接的USB设备。二...阅读全文

一种动态实现核隔离的方法

本文分享自天翼云开发者社区《一种动态实现核隔离的方法》,作者:y****n一、技术背景相关概念:核隔离:指定的cpu核心只参与最低限度的OS内核计算; DPDK(Date planedevelopment kit):是一个用来进行包数据处理加速的软件库。Cpu亲和性:进程要在某个给定的CPU上尽量长时间地运行而不被迁移到其他处理器的倾向性。背景:网元节点上,对cpu消耗比较多的进程可以分为几个类别:1、系统运行相关进程(通过systemd启动和管理的进程以及内核线程)2、网元相关进程(比如dpos、gobgpd进程)。然而在现网中发现,由于系统运行相关进程与网元相关进程在同内核下运行时,会概率性的抢占pmd线程的cpu,从而导致dpdk丢包,影响网元性能。一般使用的隔离系统进程方法如修改gr...阅读全文

博文 2023-10-30 16:14:37 Tianyiyun

[完结26章]Java主流分布式解决方案多场景设计与实战

![1.png](http://static.itsharecircle.com/231221/550e98b48493de30d73d64caedef007f.png) java中常用的分布式方法有哪些呢? 分布式系统分布式存储:GFS,HDFS(HBase) 分布式计算系统: MapReduce 消息中间件: Kafka 分布式处理管理器: Zookeeper RocketMQ : 负载均衡技术 分布式缓存技术: Redis 分布式锁 分布式系统设计 分布式优化策略 众所周知,随着互联网数据井喷式的发展,分布式技术应运而生。分布式因其高性能、高可用、高扩展的特点,成为微服务项目的基石。本篇文章将针对分布式六大主流问题进行多方案对比解析,多场景实战讲解,让大家深度掌握分布式原理和实战。我将...阅读全文

博文 2023-12-21 15:24:24 udbmaidns

Linux iptables 删除 chain

接触了一些东西,添加了几个 chain,搞得乌烟瘴气,网上查资料都不是那么的直接或者说没有说明白,而又并不是太想研究,因为这东西,到底还是有点麻烦的。解决方案#刷新 iptables -t mangle -F #删 iptables -t mangle -X [your chain name] #刷新 iptables -t mangle -F #看看删了没有 iptables -t mangle -LPS:按顺序,顺序不可乱。前后需要被 -F包裹,感谢一位朋友的耐心指导(帮忙)...阅读全文

博文 2023-12-12 14:54:44 伪斜杠青年

首个“全4K”运动会,上云!

采用“全4K”超高清制作标准的世-界级赛事——成都世界大学生运动会,可以用手机看、用电视看,甚至用VR沉浸式观看,并且既高清又流畅……在“2023数字科技生态大会”上,全新数字化解决方案成果的展示,让人们感受到云网融合发展的新脉动。云网融合已经成为数字信息基础设施的核心特征,并不断丰富和发展。当前,网向云再向人工智能持续演进并深度融合,成为发展方向。在此趋势下,天翼云以高质量云网融合服务向成都大运会转播工作提供赛事公共信号,以及安全、高速的转播服务,为观众打造极-致视听体验,助力成都大运会成为国内大型运动会及世界大学生运动会历史上第一个“全4K”制作的运动会。首-个“全4K”运动会的背后,有天翼云创新技术的支撑与赋能。大运会赛事转播,需要把原始采集的音视频信号远程传输到制作中心,经过二次制作...阅读全文

博文 2023-11-24 16:09:56 Tianyiyun

云数据库的云端故障排除策略:关键技术与实施方案

本文分享自天翼云开发者社区《云数据库的云端故障排除策略:关键技术与实施方案》,作者:3****m一、关键技术自动化监控与预警:云数据库应具备自动监控功能,实时收集性能指标、错误日志等数据,并通过算法分析异常模式。一旦发现异常或潜在故障,系统应自动触发预警通知,以便及时采取措施。分布式容错机制:由于云环境的特性,单点故障可能导致整个系统的瘫痪。因此,云数据库应采用分布式架构,通过数据冗余和副本技术实现容错。当某个节点发生故障时,其他节点可以继续提供服务,确保数据的可用性。智能负载均衡:智能负载均衡技术可以根据系统负载和资源利用情况动态调整请求路由,确保系统的稳定性和高效性。当某个节点负载过高时,请求可以被路由到其他负载较轻的节点,避免因过载导致的故障。数据一致性与完整性保障:在分布式环境下,数...阅读全文

真正解决方案:java.lang.ClassNotFoundException: javax.xml.bind.JAXBException

真正解决方案:java.lang.ClassNotFoundException: javax.xml.bind.JAXBException 1. 故障描述2. 故障原因分析3.解决方案3.1 解决方案一3.2 解决方案二(亲测可行)3.3 解决方案三 1. 故障描述 今天在使用JDK 9.0 环境下使用Hibernate 时候出现了这个错误,错误日志如下: 2. 故障原因分析 JAXB API是java EE 的API,因此在java SE 9.0 中不再包含这个 Jar 包。 java 9 中引入了模块的概念,默认情况下,Java SE中将不再包含java EE 的Jar包 而在 java 6/7 / 8 时关于这个API 都是捆绑在一起的 3.解决方案 3.1 解决方案一 降低JDK 9...阅读全文

博文 2023-12-13 14:53:09 CSDN博客

更快更省更好用!天翼云云原生一体机iStack打通物云最后一公里!

近年来,随着企业数字化转型的深入,从传统 IT 架构向云原生架构转型,已经成为企业谋求更高质量发展的必由之路。然而,云原生技术复杂度高,运维成本高,且技术工具间的集成度不足。打破云原生技术应用门槛,以端到端软硬一体的方式为企业提供服务,成为云服务商加速云原生规模化落地的重点。作为全球第一的运营商云,天翼云坚持科技创新,积极推动千行百业的数字化建设,依托“2+4+31+X”的云网资源布局,于2022年首-次推出天翼云云原生一体机iStack(简称iStack),成为天翼云在边缘侧、客户侧等X场景下的主力产品。iStack基于“轻量、原生、生态”理念,将打通云服务的最后一公里作为目标,已应用于多个重要场景中。​​天翼云面向新型社区建设和老旧小区改造而构建的智慧社区一体机,不断完善社区智慧生活。​...阅读全文

博文 2023-11-17 15:46:23 Tianyiyun