- 1. 背景介绍分区裁剪（Partition Pruning）是一种只适用于分区表的优化技术。当用户查询分区表时，往往只需要访问表中的特定分区。优化器通过分析 SQL 语句中的过滤条件，确定哪些分区是相关的，从而避免访问无关分区的优化过程，即为分区裁剪。分区裁剪是分区表提供的重要优化手段，通过分区裁剪，SQL 的执行效率可以得到大幅度提升。本文主要通过源码的方式来介绍分区裁剪的功能及原理。2.... 1. 背景介绍分区裁剪（Partition Pruning）是一种只适用于分区表的优化技术。当用户查询分区表时，往往只需要访问表中的特定分区。优化器通过分析 SQL 语句中的过滤条件，确定哪些分区是相关的，从而避免访问无关分区的优化过程，即为分区裁剪。分区裁剪是分区表提供的重要优化手段，通过分区裁剪，SQL 的执行效率可以得到大幅度提升。本文主要通过源码的方式来介绍分区裁剪的功能及原理。2....
- 1. 背景介绍在实际生产环境中，尤其是在高并发的业务场景中，某些SQL语句可能会对数据库性能产生严重的负面影响，具体表现如下：（1）复杂的查询操作会占用大量资源，导致系统资源紧张;（2）可能会阻塞正常查询的执行，最终导致整体性能显著下降；（3）短时间出现突发流量，导致数据库瞬间过载，进而影响系统的稳定性。在这些情况下，如果数据库的CPU资源被完全占用，所有依赖该数据库的业务都会受到影响，尤其... 1. 背景介绍在实际生产环境中，尤其是在高并发的业务场景中，某些SQL语句可能会对数据库性能产生严重的负面影响，具体表现如下：（1）复杂的查询操作会占用大量资源，导致系统资源紧张;（2）可能会阻塞正常查询的执行，最终导致整体性能显著下降；（3）短时间出现突发流量，导致数据库瞬间过载，进而影响系统的稳定性。在这些情况下，如果数据库的CPU资源被完全占用，所有依赖该数据库的业务都会受到影响，尤其...
- 简单介绍DWS的GROUP BY执行方式，以及常见相关性能慢的根因，以及针对性的调优方案 简单介绍DWS的GROUP BY执行方式，以及常见相关性能慢的根因，以及针对性的调优方案
- 一、什么是Optimizer TraceEXPLAIN命令可以帮助您查看语句的执行计划，包括是否进行了全表扫描还是索引扫描，以及表的连接顺序等。但是EXPLAIN仅展示结果，并没有真正告诉MySQL为什么这么做。尤其是在客户问题中，经常会遇到执行计划不是最优的情况，但仅根据EXPLAIN的结果，是没办法分析并说清楚为什么最终的执行计划是这样的。为了解决这个问题，MySQL提供了一项执行计划跟... 一、什么是Optimizer TraceEXPLAIN命令可以帮助您查看语句的执行计划，包括是否进行了全表扫描还是索引扫描，以及表的连接顺序等。但是EXPLAIN仅展示结果，并没有真正告诉MySQL为什么这么做。尤其是在客户问题中，经常会遇到执行计划不是最优的情况，但仅根据EXPLAIN的结果，是没办法分析并说清楚为什么最终的执行计划是这样的。为了解决这个问题，MySQL提供了一项执行计划跟...
- 这个问题是我在知乎上看到的，答案并不是一边倒，还是存在争议性的。其中，一些持反方观点同学的理由如下：（1）从硬件成本和维护成本上看，反而应该多个微服务尽可能地共用中间件和数据库。（2）微服务的独立数据库是指逻辑独立，而不是物理独立，在物理层面上是可以共用数据库的。btw：有点儿像《非诚勿扰》中葛优对舒淇说的话：“那你能允许我心在你这，身体上开点儿小差吗”？（3）你把数据库也看做一个微服务就好... 这个问题是我在知乎上看到的，答案并不是一边倒，还是存在争议性的。其中，一些持反方观点同学的理由如下：（1）从硬件成本和维护成本上看，反而应该多个微服务尽可能地共用中间件和数据库。（2）微服务的独立数据库是指逻辑独立，而不是物理独立，在物理层面上是可以共用数据库的。btw：有点儿像《非诚勿扰》中葛优对舒淇说的话：“那你能允许我心在你这，身体上开点儿小差吗”？（3）你把数据库也看做一个微服务就好...
- 在上一篇文章中《面试官：你们项目中用到多表关联了吗？》，我们着重介绍了MySQL 8.0 数据库中的四种Nested-Loops Join（嵌套循环连接）。本文中我们继续介绍Hash Join（哈希连接），以及从技术原理的角度上给出最终结论 —— 我们还是应该在数据库中合理使用多表关联查询，而不是放到应用程序中。我们在上一篇文章中说过，从MySQL 8.0.20开始，就不再使用缓存块嵌套循环... 在上一篇文章中《面试官：你们项目中用到多表关联了吗？》，我们着重介绍了MySQL 8.0 数据库中的四种Nested-Loops Join（嵌套循环连接）。本文中我们继续介绍Hash Join（哈希连接），以及从技术原理的角度上给出最终结论 —— 我们还是应该在数据库中合理使用多表关联查询，而不是放到应用程序中。我们在上一篇文章中说过，从MySQL 8.0.20开始，就不再使用缓存块嵌套循环...
- 我们来看这样一个面试场景。面试官：“在你们的项目中，用到多表关联查询了吗？”候选人：“嗯，每个项目都用到了。”面试官听了似乎有些愤怒，说：“多表关联查询这么慢，为什么你们还要用它，那你们项目的性能如何保障呢？”面对这突如其来地质问，候选人明显有些慌了，解释道：“主要是项目周期太紧张了，这样写在开发效率上能高一些，后期我们会慢慢进行优化的。”面试官听了，带着三分理解、三分无奈、四分恨铁不成钢地... 我们来看这样一个面试场景。面试官：“在你们的项目中，用到多表关联查询了吗？”候选人：“嗯，每个项目都用到了。”面试官听了似乎有些愤怒，说：“多表关联查询这么慢，为什么你们还要用它，那你们项目的性能如何保障呢？”面对这突如其来地质问，候选人明显有些慌了，解释道：“主要是项目周期太紧张了，这样写在开发效率上能高一些，后期我们会慢慢进行优化的。”面试官听了，带着三分理解、三分无奈、四分恨铁不成钢地...
- 前言接口性能问题，对于从事后端开发的同学来说，是一个绕不开的话题。想要优化一个接口的性能，需要从多个方面着手。其实，我之前也写过一篇接口性能优化相关的文章《聊聊接口性能优化的11个小技巧》，发表之后在全网广受好评，感兴趣的小伙们可以仔细看看。本文将会接着接口性能优化这个话题，从实战的角度出发，聊聊我是如何优化一个慢查询接口的。上周我优化了一下线上的批量评分查询接口，将接口性能从最初的20s，... 前言接口性能问题，对于从事后端开发的同学来说，是一个绕不开的话题。想要优化一个接口的性能，需要从多个方面着手。其实，我之前也写过一篇接口性能优化相关的文章《聊聊接口性能优化的11个小技巧》，发表之后在全网广受好评，感兴趣的小伙们可以仔细看看。本文将会接着接口性能优化这个话题，从实战的角度出发，聊聊我是如何优化一个慢查询接口的。上周我优化了一下线上的批量评分查询接口，将接口性能从最初的20s，...
- 一、背景介绍在数据库运维工作中，慢SQL是一个常见问题。导致慢SQL问题的原因很多，常见的包括资源瓶颈（CPU、磁盘、网络等资源打满）、不合理的参数配置、SQL语句自身问题以及SQL代价估算不准确等。其中，SQL代价估算不准确是慢SQL的TOP根因之一。这类问题的复杂性通常与客户业务强相关，且往往需要详细查看执行计划才能确定错误原因。相比之下，其他慢SQL场景则通过资源监控、参数对比等手段，... 一、背景介绍在数据库运维工作中，慢SQL是一个常见问题。导致慢SQL问题的原因很多，常见的包括资源瓶颈（CPU、磁盘、网络等资源打满）、不合理的参数配置、SQL语句自身问题以及SQL代价估算不准确等。其中，SQL代价估算不准确是慢SQL的TOP根因之一。这类问题的复杂性通常与客户业务强相关，且往往需要详细查看执行计划才能确定错误原因。相比之下，其他慢SQL场景则通过资源监控、参数对比等手段，...
- 1. EXPLAIN ANALYZE可以解决什么问题MySQL 8.0.18 版本开始支持查询分析工具EXPLAIN ANALYZE，该工具不仅会实际执行SQL语句，还会展示SQL语句详细的执行信息，包含执行算子（Iterator）粒度的扫描行数、执行耗时、迭代次数等信息。EXPLAIN ANALYZE工具是MySQL EXPLAIN FORMAT=TREE 功能的扩展，除了展示执行计划和代... 1. EXPLAIN ANALYZE可以解决什么问题MySQL 8.0.18 版本开始支持查询分析工具EXPLAIN ANALYZE，该工具不仅会实际执行SQL语句，还会展示SQL语句详细的执行信息，包含执行算子（Iterator）粒度的扫描行数、执行耗时、迭代次数等信息。EXPLAIN ANALYZE工具是MySQL EXPLAIN FORMAT=TREE 功能的扩展，除了展示执行计划和代...
- 1.背景随着国内各大行业数字化改造步伐的加快，异构数据库数据同步的需求场景越来越多。异构数据库同步，即将不同类型、不同结构的数据库之间的数据进行同步处理，以确保数据在不同数据库之间的一致性。比如，将当前数据库的数据迁移到其他类型的数据库中，或者将当前数据库中的数据实时备份到另一个数据库，从而提升数据的安全性和可靠性。 华为云提供了DRS服务，该服务涵盖了异构数据库之间的迁移、同步、灾备、订阅... 1.背景随着国内各大行业数字化改造步伐的加快，异构数据库数据同步的需求场景越来越多。异构数据库同步，即将不同类型、不同结构的数据库之间的数据进行同步处理，以确保数据在不同数据库之间的一致性。比如，将当前数据库的数据迁移到其他类型的数据库中，或者将当前数据库中的数据实时备份到另一个数据库，从而提升数据的安全性和可靠性。 华为云提供了DRS服务，该服务涵盖了异构数据库之间的迁移、同步、灾备、订阅...
- 背景介绍在使用MySQL过程中，如果字符集配置不当，可能会出现插入失败、数据乱码、 索引失效、数据丢失、查询不到期望结果等一系列使用异常的情况。因此，熟练掌握MySQL字符集和比较规则的配置方法，并在此基础上了解MySQL字符集与比较规则的核心逻辑，才能从源码和实现层面上理解，为何字符集配置不当会导致上述问题。本文主要分为三个部分：• 详细介绍字符集配置方法• 字符集的实现与字符集转换核心逻... 背景介绍在使用MySQL过程中，如果字符集配置不当，可能会出现插入失败、数据乱码、 索引失效、数据丢失、查询不到期望结果等一系列使用异常的情况。因此，熟练掌握MySQL字符集和比较规则的配置方法，并在此基础上了解MySQL字符集与比较规则的核心逻辑，才能从源码和实现层面上理解，为何字符集配置不当会导致上述问题。本文主要分为三个部分：• 详细介绍字符集配置方法• 字符集的实现与字符集转换核心逻...
- 在生产环境中，MySQL语句的where查询通常会包含多个条件判断，以AND或OR操作进行连接。然而，对一个表进行查询最多只能利用该表上的一个索引，其他条件需要在回表查询时进行判断（不考虑覆盖索引的情况）。当回表的记录数很多时，需要进行大量的随机IO，这可能导致查询性能下降。因此，MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。本文将基于MySQL 8.0.22版... 在生产环境中，MySQL语句的where查询通常会包含多个条件判断，以AND或OR操作进行连接。然而，对一个表进行查询最多只能利用该表上的一个索引，其他条件需要在回表查询时进行判断（不考虑覆盖索引的情况）。当回表的记录数很多时，需要进行大量的随机IO，这可能导致查询性能下降。因此，MySQL 5.x 版本推出索引合并(Index Merge)来解决该问题。本文将基于MySQL 8.0.22版...
- 并行计算技术作为提升数据库处理性能的重要手段，在现有的数据库产品中得到了广泛的应用。 并行计算技术作为提升数据库处理性能的重要手段，在现有的数据库产品中得到了广泛的应用。
- 背景数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划，但因为数据环境不断变化导致优化器对查询数据了解的不够充足，可能无法生成最优的执行计划进而影响查询效率，因此MySQL8.0推出了直方图(histogram)功能来解决该问题。直方图用于统计字段值的分布情况，向优化器提供统计信息。利用直方图，可以对一张表的一列数据做分布统计，估算where条件中过滤字段的选择率，从而帮助优化器更准... 背景数据库查询优化器负责将SQL查询转换为尽可能高效的执行计划，但因为数据环境不断变化导致优化器对查询数据了解的不够充足，可能无法生成最优的执行计划进而影响查询效率，因此MySQL8.0推出了直方图(histogram)功能来解决该问题。直方图用于统计字段值的分布情况，向优化器提供统计信息。利用直方图，可以对一张表的一列数据做分布统计，估算where条件中过滤字段的选择率，从而帮助优化器更准...
上滑加载中
推荐直播
-
-
ECS自动初始化实操2025/06/24 周二 16:30-18:00
阿肯-华为云生态技术讲师
ECS是大家非常熟悉的服务，但大家真的用对了吗？服务器启动后需要人工部署应用吗？课程演示如何让ECS创建就能投入工作
回顾中 -
2025年度中国青年“揭榜挂帅”擂台赛·华为赛道直播宣讲会2025/06/26 周四 15:00-16:30
李大帅 华为云算子专家 吴小鱼 华为云人工智能算法专家
挑战杯 | 2025年度中国青年“揭榜挂帅”华为赛道直播宣讲会火热来袭！聚焦前沿的昇腾全栈AI技术，核心挑战：大模型推理优化。华为云人工智能算法专家+算子专家联袂坐镇直播间，深度解析赛题，助你赢取大奖！技术高手们，速来直播间，获取通关秘籍！
回顾中
热门标签