Elasticsearch上的索引如果有多个分片，那么在聚合排序后取TopN时，返回的结果可能是不准的，今天我们就通过实战来研究分析此问题，并验证解决方法； 环境信息 以下是本次实战的环境信息，请确保您的Elasticsearch可以正常运行： 操作系统：Ubuntu 18.04.2 LTSJDK：1.8.0_191Elasticsearch：6.7.1Kibana：6.7.1 系列文章列表 《Elasticsearch聚合学习之一：基本操作》；《Elasticsearch聚合学习之二：区间聚合》；《Elasticsearch聚合学习之三：范围限定》;《Elasticsearch聚合学习之四：结果排序》；《Elasticsearch聚合学习之五：排序结果不准的问题分析》; 复现问题第一步：创...阅读全文
在上一篇文章 通过某瓣真实案例看 Elasticsearch 优化 写了最近获得的一些优化 Elasticsearch (以下简称 ES) 的经验，也把这些分享给厂内使用 ES 的同事和萨 (SA)。 讨论中萨同事提了一个问题: 话说项目有 topK 这种聚合请求么？记得多分片情况下请求参数不合理可能出现不准确的聚合结果 我当时看完的第一反应是「啥？」，但是同事一提我突然隐约想起来曾经在什么地方看过这个问题。然后一顿搜索找到了官方文档的说明 (延伸阅读链接 1)，我详细的说说 聚合的结果不准确的原因 我们假设要聚合符合某要求的 N 个结果 (也就是请求参数中的 size)，ES 集群分片数为 S。 ES 分发聚合请求到所有的分片上单独处理，最后汇总结果。在单个分片的聚合过程中会把每个要聚合的...阅读全文
在对Mapper调优的过程中，一个经验法则是： map任务最好拥有一分钟以上的运行时间。 因为如果任务运行时间过短，将导致在整个作业的执行过程中任务启动所花费的时间过大，从而降低了实际的任务执行效率。 对map任务的运行时间影响最大的是Mapper的个数，不过与Reducer不同，Mapper的个数是无法显示指定的。 调节Mapper数量的一种方式是设置参数mapred.jobtracker.maxtasks.per.job， 但其只能限制每个job中并发运行的map或reduce任务的上限，而当实际运行的map数低于该上限时，该参数将失效。 如果想要对Mapper个数进行更加直接有效的控制，需要指定输入数据的分片大小。 输入分片(input split)是MapReduce框架为使map任...阅读全文
1、实战开发遇到聚合问题 请教一个问题，ES 在聚合的时候发生了一个奇怪的现象聚合的语句里面size设置为10和大于10导致聚合的数量不一致，这个size不就是返回的条数吗？会影响统计结果吗？dsl语句摘要（手机敲不方便，双引号就不写了）： aggs:{topcount:{terms:{field:xx,size:10}}} 就是这个size，设置10和大于10将会导致聚合结果不一样，难道是es5.x的bug吗？ 以上是实战中的真实问题，基于这个问题，有了本篇文章。 本文探讨的聚合主要指：terms 分桶聚合。下图为分桶 terms 聚合示意图。 从一堆多分类的产品中聚合出 TOP 3 的产品分类和数量。TOP3 结果： 产品 Y：4 产品 X：3 产品 Z：2 2、前提认知：Elastic...阅读全文
Jump Consistent Hashing 和 一致性哈希（Consistent Hashing）是两种常见的分布式哈希算法，它们都用于解决数据分片和负载均衡的问题。然而，这两种算法在设计目标、性能特点和适用场景上存在显著差异。以下是它们的优劣对比，以及为什么可能选择 Jump Consistent Hashing 而不是传统的一致性哈希算法的原因。 --- ### **1. 一致性哈希算法（Consistent Hashing）** #### **(1) 核心原理** - 一致性哈希算法将所有节点和数据点映射到一个虚拟的环形空间（通常是一个 0 到 2^32 的哈希环）。 - 数据点通过哈希值找到环上的位置，并顺时针查找最近的节点。 - 当节点增加或减少时，只有部分数据需要重新分配。 ...阅读全文
基因法是分库分表场景中解决多维度查询问题的核心设计策略，其核心思想是**将非分片键的查询信息（基因）嵌入到分片键中**，使得非分片键的查询也能直接定位到目标分片，避免跨库扫描和全表路由的问题。 --- ### 一、基因法的核心原理 1. **基因嵌入机制** • 通过将非分片键的**部分特征值（基因）**嵌入到分片键中，使得分片键同时携带多个维度的信息。例如：订单号中嵌入用户ID的末几位二进制位，使得按用户ID查询时可直接定位分片。 • **数学基础**：基于模运算特性，例如 `N % 16` 的结果仅由N的二进制末4位决定。因此，通过将用户ID的末4位嵌入订单号末4位，可实现两者的分片路由结果一致。 2. **分片键设计** • 若分片数为 `2^n`（如16库64表），基因位数取 `n`...阅读全文
本文讲述，如何理解Elasticsearch的分片、副本和路由策略。 1、预备知识 1）分片（shard） Elasticsearch集群允许系统存储的数据量超过单机容量，实现这一目标引入分片策略shard。在一个索引index中，数据（document）被分片处理（sharding）到多个分片上。Elasticsearch屏蔽了管理分片的复杂性，使得多个分片呈现出一个大索引的样子。 2）副本（replica） 为了提升访问压力过大是单机无法处理所有请求的问题，Elasticsearch集群引入了副本策略replica。副本策略对index中的每个分片创建冗余的副本，处理查询时可以把这些副本当做主分片来对待（primary shard），此外副本策略提供了高可用和数据安全的保障，当分片所在的...阅读全文
XXL Job 是一个开源的分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展的分布式任务调度框架。 这两天咱们开发的 AI Cloud 项目中，也使用到了 XXL Job 来执行分布式任务的调度，可以看出它的部署和使用虽然步骤很多，但用起来还是很简单的。 因为其本身为 Spring Boot 项目，所有对于 Java 程序员来说很友好，而且它还提供中文控制台，所以这也是他能在国内分布式任务调度系统这块一直流行的原因，如下图所示： 那么接下来咱们就来聊聊，XXL Job 的路由策略，以及路由策略中分片任务的执行原理。 1.路由策略 XXL Job 的路由策略主要作用是在任务执行器集群环境中，决定如何选择合适的执行器来执行任务。 XXL Job 路由策略包含以下几个： 其中...阅读全文
