HBase-2.x支持7种Region自动拆分Region的策略，类图如下:其中BusyRegionSplitPolicy是HBase-2.x新增的策略，其他6种在HBase-1.2.x中也可以使用。设置自动拆分策略的关键配置如下:hbase.regionserver.region.split.policy description: Region自动拆分的策略 default: HBase-1.2.x: org.apache.hadoop.hbase.regionserver.Increasin...阅读全文
Region自动切分是HBase能够拥有良好扩张性的最重要因素之一，也必然是所有分布式系统追求无限扩展性的一副良药。HBase系统中Region自动切分是如何实现的？这里面涉及很多知识点，比如Region切分的触发条件是什么？Region切分的切分点在哪里？如何切分才能最大的保证Region的可用性？如何做好切分过程中的异常处理？切分过程中要不要将数据移动？等等，这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能...阅读全文
在Hbase中split是一个很重要的功能，Hbase是通过把数据分配到一定数量的region来达到负载均衡的。一个table会被分配到一个或多个region中，这些region会被分配到一个或者多个regionServer中。在自动split策略中，当一个region达到一定的大小就会自动split成两个region。table在region中是按照row key来排序的，并且一个row key所对应的行只会存储在一个region中，这一点保证了Hbase的强一致性 。 在一...阅读全文
导读腾讯云 Elasticsearch Service（ES）是基于开源搜索引擎 Elasticsearch 打造的高可用、可伸缩的云端全托管的 Elasticsearch 服务，包含 Kibana 及常用插件，并集成了安全、SQL、机器学习、告警、监控等高级特性（X-Pack）。本文描述在实际使用中，经常会遇到的ES集群负载不均的问题，并结合多种场景进行分析、解决，以及如何避免。作者简介岳涛腾云忆想大数据产品架构师，多年分布式、高并发大数据系统的研发、系统架构设计经验，擅长主流大数据架构技术平...阅读全文
kubelet节点压力驱逐 kubelet监控集群节点的 CPU、内存、磁盘空间和文件系统的inode 等资源，根据kubelet启动参数中的驱逐策略配置，当这些资源中的一个或者多个达到特定的消耗水平，kubelet 可以主动地驱逐节点上一个或者多个pod，以回收资源，降低节点资源压力。 基于kubernets v1.17.4 1.什么时候发生驱逐 kubelet结合以下数据项来做出驱逐决定： （1）驱逐信号； （2）驱逐策略； （3）驱逐监测间隔； 1.1 驱逐信号 节点上的memory、no...阅读全文
图文轻松说透 K8S Pod 各种驱逐场景 Kubernetes Pod 被驱逐是什么意思？ 它们被终止，通常是没有足够资源的结果。但是为什么会这样呢？ 驱逐是指派给节点的Pod 被终止的过程。Kubernetes 中最常见的情况之一是Preemption，为了在资源有限的节点中调度新的 Pod，需要终止另一个 Pod 以释放资源。 此外，Kubernetes 会不断检查资源并在需要时驱逐 Pod，这个过程称为节点压力驱逐。 在本文中，您将发现： Pod 被驱逐的原因：抢占和节点压力抢占式驱逐P...阅读全文
作者：Carlos Arilla翻译：bot（才云）校对：星空下的文仔（才云）在生产环境中，如何设置 Kubernetes 的 Limit 和 Request 对于优化应用程序和集群性能至关重要。矛盾的是，分布式系统旨在解决应用程序之间的资源共享问题（例如 Kubernetes），但它们面临的挑战之一却是如何正确共享资源。在以前，应用程序通常被设计为独立运行，并可以使用现有的所有资源。但随着企业应用程序数量的急剧增长和对系统稳定、弹性要求的提升，新格局下，应用程序之间需要共享相同的资源，这使得资...阅读全文
http://www.tuicool.com/articles/Jniemin 这个链接主要介绍了cgroup中使用的三种cpu资源限制方式 cpuset隔离方式是以分配核心的方式进行资源隔离，可以提供的资源分配最小粒度是核心，不能提供更细粒度的资源隔离，但是隔离之后运算的相互影响最低。需要注意的是在服务器开启了超线程的情况下，要小心选择分配的核心，否则不同cgroup间的性能差距会比较大。cpuquota给我们提供了一种比cpuset可以更细粒度的分配资源的方式，并且保证了cgroup使用cp...阅读全文
docker对CPU的使用 docker对于CPU的可配置的主要几个参数如下： --cpu-shares CPU shares (relative weight) --cpu-period Limit CPU CFS (Completely Fair Scheduler) period --cpu-quota Limit CPU CFS (Completely Fair Scheduler) quota --cpuset-cpus CPUs in which to allow execution...阅读全文
前面我们了解了 Prometheus 中 Relabeling 重新标记的使用，本文我们将学习 Prometheus 中是如何使用服务发现来查找和抓取目标的。我们知道在 Prometheus 配置文件中可以通过一个 static_configs 来配置静态的抓取任务，但是在云环境下，特别是容器环境下，抓取目标地址是经常变动的，所以用静态的方式就不能满足这些场景了。所以我们需要监控系统能够动态感知这个变化，不可能每次变动都去手动重新配置的，为了应对复杂的动态环境，Prometheus 也提供了与基...阅读全文
Consul是由HashiCorp开发的一个支持多数据中心的分布式服务发现和键值对存储服务的开源软件，被大量应用于基于微服务的软件架构当中。Consul初体验用户可以通过Consul官网https://www.consul.io/downloads.html下载对应操作系统版本的软件包。Consul与Prometheus同样使用Go语言进行开发，因此安装和部署的方式也极为简单，解压并将命令行工具放到系统PATH路径下即可。在本地可以使用开发者模式在本地快速启动一个单节点的Consul环境：$ c...阅读全文
请注意这个方法只有在你的数据实际上是 UTF-8 字符串时才能正常工作。如果数据是其他格式的，这个方法可能会输出乱码。中没有直接的方式来解码这样的数据。你可能需要把数据导出然后用其他工具（如 Python，PHP 等）来进行解码。命令行工具中，如果键的值是以 UTF-8 编码的字符串存储的，它将自动显示为字符串，不需要做任何解码操作。输出时自动把二进制数据转换为 UTF-8 字符串，可以使用。如果值是二进制数据或者非 UTF-8 编码的字符串，默认会显示为十六进制字节串。阅读全文
目录 前言 1.重写和重定向的区别是什么？ 首先说说关联 那他们的区别呢？ 2.“重写”、“重定向”、“隐式转发”、“内部重定向”......这些名词的关系是什么？ 3.nginx中return、rewrite、proxy_pass它们的区别是什么？实现的功能是什么？ 3.1 return 3.2 rewrite 3.3 proxy_pass 3.4 nginx模块实现重写/重定向总结 4.关于重写/重定向时规则的匹配效率 5.总结 5.1 什么是重写和重定向？ 5.2 相关名词是什么对应关系...阅读全文
本文分享自天翼云开发者社区《将个人PC转变为高效的云电脑:理论、实践与优化》,作者:不知不觉在数字化时代的今天，我们越来越依赖互联网和计算机技术进行工作和生活。然而，传统的个人电脑（PC）在使用过程中存在一些限制，例如硬件资源的利用率不高、数据安全难以保障等。为了解决这些问题，我们可以将个人PC转变为高效的云电脑，通过远程访问和共享的方式来提高资源利用率和数据安全性。本文将详细探讨这一主题，包括理论、实践和优化的方法。一、理解个人PC与云电脑个人PC是一种独立的计算机设备，通常由用户自行购买和维...阅读全文
本文分享自天翼云开发者社区《CDN在互联网直播中的运用与性能优化》,作者:不知不觉随着互联网技术的不断发展，互联网直播已成为人们获取信息、娱乐、学习等多种需求的重要途径之一。然而，在直播过程中，由于网络延迟、卡顿等问题，观众的观看体验往往受到影响。为了解决这些问题，内容分发网络（CDN）技术被广泛应用于互联网直播领域，本文将探讨CDN在互联网直播中的运用与性能优化。一、CDN的基本概念CDN是一种分布式的内容分发网络，它通过在全球各地的节点部署缓存服务器，将网站的内容缓存到这些节点上，当用户访问...阅读全文
近年来，上云已成为企业数字化转型的必然选择，安全也成为了企业上云考虑的关键问题。《信息安全技术-网络安全等级保护基本要求》规定了网络安全等级保护的第一级到第四级等级保护对象的安全通用要求和安全扩展要求。那么，企业该如何高效、平稳地满足等保合规，并将安全转化为自身的发展助力？安全共建天翼云提供一站式云等保合规服务为进一步满足业务的安全合规需求，助力企业客户顺利通过等保安全测评，天翼云推出云等保专区产品，利用云原生安全技术，构建下一代防火墙、WAF、主机安全、堡垒机、数据库审计、日志审计、漏洞扫描...阅读全文
Consul-Template简介Consul-Template是基于Consul的自动替换配置文件的应用。在Consul-Template没出现之前，大家构建服务发现系统大多采用的是Zookeeper、Etcd+Confd这样类似的系统。Consul官方推出了自己的模板系统Consul-Template后，动态的配置系统可以分化为Etcd+Confd和Consul+Consul-Template两大阵营。Consul-Template的定位和Confd差不多，Confd的后端可以是Etcd或者...阅读全文
一、概述HBase 是一个基于 Google BigTable 论文设计的高可靠性、高性能、可伸缩的分布式存储系统。 网上关于 HBase 的文章很多，官方文档介绍的也比较详细，本篇文章不介绍 HBase 基本的细节。本文从 HBase 写链路开始分析，然后针对少量随机读和海量随机写入场景入手，全方面量化分析各种资源的开销, 从而做到以下两点：在给定业务量级的情况下，预先评估好集群的合理规模在 HBase 的众多参数中，选择合理的配置组合二、HBase 写链路简要分析HBase 的写入链路基于 ...阅读全文
开始之前在某些情况下，我们希望对服务器上的一些资源进行限制，例如服务器/api路径下的所有资源，必须先进行身份验证然后才能访问资源，对于这个需求我们可以通过 HTTP Basic authentication 协议来完成，Nginx 使用 ngx_http_auth_basic_module 模块支持 HTTP基本身份验证 功能 。 HTTP基本身份验证RFC 7235 定义了一个HTTP身份验证框架，服务器可以用来针对客户端的请求发送challenge（质询信息），客户端则可以用来提供身份验证...阅读全文
### download：[2周搞定人工智能必备数学基础]() 线性代数是数学中十分重要的分支之一，它触及向量、矩阵、线性变换等概念，普遍应用于计算机图形学、机器学习、数据剖析等范畴。在编程中，我们能够运用各种言语和库来完成线性代数的相关算法和应用。 下面是一个运用Python言语和NumPy库库完成线性代数相关操作的示例代码： import numpy as np # 创立一个2x3的矩阵 A = np.array([[1, 2, 3], [4, 5,6]]) # 打...阅读全文
