9月13日-14日，由中国信息通信研究院、中国通信标准化协会联合主办的2023数字化转型发展大会暨首届数字原生大会在京举办。大会公布了第二届“鼎新杯”数字化转型应用大赛获奖案例，天翼云斩获五项大奖，顺利通过三项“2023年上半年政企数字化转型IOMM最新评估”，技术实力与实践成果再获权威认可。凭借在一体化政务云、数字政府建设方面的突出贡献，天翼云多位专家获评一体化政务云标准编制突出贡献专家、数字政府建设赋能计划先锋人物。现场，天翼云与中国信通院云计算与大数据研究所共同出席数字政府签约仪式，未来...阅读全文
9月11日，由中国交通报社、中国交通运输协会主办的2023北京数字交通大会在北京召开。天翼云科技有限公司央企行业中心解决方案专家沈凯龙参加数字交通全栈能力创新论坛并发表演讲，分享了天翼云的技术能力与优势，以及在数字交通创新发展方面的探索与成果。在人工智能、大数据、云计算等创新技术的驱动下，数字交通建设迎来关键发展期。作为云服务国家队，天翼云在数字交通领域持续发力，为支撑交通运输高质量发展、加快建设交通强国、更好地服务数字中国战略提供强力引擎。在IaaS层面天翼云满足不同交通场景部署需求，提供公...阅读全文
hbase 2.2.6 3 hmasters ，400+ regionservers，about 80w regions， totoal hfiles compressed 20PB ，uncompressed 80P (cores40 内存187.4G 磁盘150T)/nodes 主要写入操作bulkload与put，日写入150T Regionserver 堆内存60G 1. hbase flush 和 compact对写的影响 简单说： 写数据时会先写到memstore 当memstore...阅读全文
我们知道，数据达到HBase服务端会写WAL-写Memstore，然后定期或满足一定条件时刷写磁盘生成一个HFile文件，随着时间推移生成的HFile会越来越多，将会影响HBase查询性能，同时会对HDFS造成一定影响。因此HBase会定期执行Compaction操作以合并减少HFile数量。1.两种合并HBase中Compaction分为两种。Minor Compaction称为小合并，主要是选取一些小的、相邻的HFile将他们合并成较大的HFile，并删除HFile中的过期数据。Major ...阅读全文
HBase 参数设置参考 前言HBase 配置参数极其繁多，参数配置可能会影响到 HBase 性能问题，因此得好好总结下。 HBase 调优是个技术活。得结合多年生产经验加测试环境下性能测试得出。 JVM垃圾回收优化 本地 memstore 分配缓存优化 Region 拆分优化 Region 合并优化 Region 预先加载优化 负载均衡优化 启用压缩，推荐snappy 进行预分区，从而避免自动 split，提高 HBase 响应速度 避免出现 region 热点现象，启动按照 table 级别...阅读全文
在hbase中，rowkey的设计应该遵循三大原则 rowkey唯一原则 hbase中数据是以k-v格式存储的，rowkey可以类比为mysql里面的key值，因此在hbase的一张表里面，rowkey不应该重复。而且一个rowkey只能对应一条数据，用rowkey去get表里面的数据时，返回的应该是唯一一条对应的数据记录，不应该返回多条 另外，因为rowkey是按照字典顺序排序存储的，所以可以将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。不过这样做虽然方便了scan等范围查询数...阅读全文
HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.Increasin...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一...阅读全文
导读腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。本文描述在实际使用中，经常会遇到的ES集群负载不均的问题，并结合多种场景进行分析、解决，以及如何避免。作者简介岳涛腾云忆想大数据产品架构师，多年分布式、高并发大数据系统的研发、系统架构设计经验，擅长主流大数据架构技术平...阅读全文
kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 基于kubernets v1.17.4 1.什么时候发生驱逐 kubelet结合以下数据项来做出驱逐决定： （1）驱逐信号； （2）驱逐策略； （3）驱逐监测间隔； 1.1 驱逐信号 节点上的memory、no...阅读全文
图文轻松说透 K8S Pod 各种驱逐场景 Kubernetes Pod 被驱逐是什么意思？ 它们被终止，通常是没有足够资源的结果。但是为什么会这样呢？ 驱逐是指派给节点的Pod 被终止的过程。Kubernetes 中最常见的情况之一是Preemption，为了在资源有限的节点中调度新的 Pod，需要终止另一个 Pod 以释放资源。 此外，Kubernetes 会不断检查资源并在需要时驱逐 Pod，这个过程称为节点压力驱逐。 在本文中，您将发现： Pod 被驱逐的原因：抢占和节点压力抢占式驱逐P...阅读全文
作者：Carlos Arilla翻译：bot（才云）校对：星空下的文仔（才云）在生产环境中，如何设置 Kubernetes 的 Limit 和 Request 对于优化应用程序和集群性能至关重要。矛盾的是，分布式系统旨在解决应用程序之间的资源共享问题（例如 Kubernetes），但它们面临的挑战之一却是如何正确共享资源。在以前，应用程序通常被设计为独立运行，并可以使用现有的所有资源。但随着企业应用程序数量的急剧增长和对系统稳定、弹性要求的提升，新格局下，应用程序之间需要共享相同的资源，这使得资...阅读全文
http://www.tuicool.com/articles/Jniemin 这个链接主要介绍了cgroup中使用的三种cpu资源限制方式 cpuset隔离方式是以分配核心的方式进行资源隔离，可以提供的资源分配最小粒度是核心，不能提供更细粒度的资源隔离，但是隔离之后运算的相互影响最低。需要注意的是在服务器开启了超线程的情况下，要小心选择分配的核心，否则不同cgroup间的性能差距会比较大。cpuquota给我们提供了一种比cpuset可以更细粒度的分配资源的方式，并且保证了cgroup使用cp...阅读全文
docker对CPU的使用 docker对于CPU的可配置的主要几个参数如下： --cpu-shares CPU shares (relative weight) --cpu-period Limit CPU CFS (Completely Fair Scheduler) period --cpu-quota Limit CPU CFS (Completely Fair Scheduler) quota --cpuset-cpus CPUs in which to allow execution...阅读全文
前面我们了解了 Prometheus 中 Relabeling 重新标记的使用，本文我们将学习 Prometheus 中是如何使用服务发现来查找和抓取目标的。我们知道在 Prometheus 配置文件中可以通过一个 static_configs 来配置静态的抓取任务，但是在云环境下，特别是容器环境下，抓取目标地址是经常变动的，所以用静态的方式就不能满足这些场景了。所以我们需要监控系统能够动态感知这个变化，不可能每次变动都去手动重新配置的，为了应对复杂的动态环境，Prometheus 也提供了与基...阅读全文
Consul是由HashiCorp开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，被大量应用于基于微服务的软件架构当中。Consul初体验用户可以通过Consul官网https://www.consul.io/downloads.html下载对应操作系统版本的软件包。Consul与Prometheus同样使用Go语言进行开发，因此安装和部署的方式也极为简单，解压并将命令行工具放到系统PATH路径下即可。在本地可以使用开发者模式在本地快速启动一个单节点的Consul环境：$ c...阅读全文
请注意这个方法只有在你的数据实际上是 UTF-8 字符串时才能正常工作。如果数据是其他格式的，这个方法可能会输出乱码。中没有直接的方式来解码这样的数据。你可能需要把数据导出然后用其他工具（如 Python，PHP 等）来进行解码。命令行工具中，如果键的值是以 UTF-8 编码的字符串存储的，它将自动显示为字符串，不需要做任何解码操作。输出时自动把二进制数据转换为 UTF-8 字符串，可以使用。如果值是二进制数据或者非 UTF-8 编码的字符串，默认会显示为十六进制字节串。阅读全文
目录 前言 1.重写和重定向的区别是什么？ 首先说说关联 那他们的区别呢？ 2.“重写”、“重定向”、“隐式转发”、“内部重定向”......这些名词的关系是什么？ 3.nginx中return、rewrite、proxy_pass它们的区别是什么？实现的功能是什么？ 3.1 return 3.2 rewrite 3.3 proxy_pass 3.4 nginx模块实现重写/重定向总结 4.关于重写/重定向时规则的匹配效率 5.总结 5.1 什么是重写和重定向？ 5.2 相关名词是什么对应关系...阅读全文
本文分享自天翼云开发者社区《将个人PC转变为高效的云电脑:理论、实践与优化》,作者:不知不觉在数字化时代的今天，我们越来越依赖互联网和计算机技术进行工作和生活。然而，传统的个人电脑（PC）在使用过程中存在一些限制，例如硬件资源的利用率不高、数据安全难以保障等。为了解决这些问题，我们可以将个人PC转变为高效的云电脑，通过远程访问和共享的方式来提高资源利用率和数据安全性。本文将详细探讨这一主题，包括理论、实践和优化的方法。一、理解个人PC与云电脑个人PC是一种独立的计算机设备，通常由用户自行购买和维...阅读全文
