• MySQL为Null会导致5个问题,个个致命

    在正式开始之前,我们先来看下 MySQL 服务器的配置和版本号信息,如下图所示: “兵马未动粮草先行”,看完了相关的配置之后,我们先来创建一张测试表和一些测试数据。-- 如果存在 person 表先删除 DROP TABLE IF EXISTS person;  -- 创建 p...

    MySQL 2021年01月01日 1107 0
  • 线上SQL死锁分析及解决思路

    背景最近线上消费MetaQ的服务频繁报SQL死锁异常,虽然最终可以基于事务自动回滚和逻辑重试保证最终正确性,但若一直放任不管,海量报警日志会掩盖真正需要紧急处理的异常,同时频繁回滚也会降低消费端的吞吐量,个人通过分析线上服务日志、Mysql死锁日志、梳理Mysql在RR级别下的锁机制,找到了真正的问题所在,并对业务处理逻辑进行了优化,特在此整理出来,一方面大家可以互相学习提升,...

    MySQL 2020年12月31日 1697 0
  • MySQL中的排序

    在编写SQL 语句时常常会用到 order by 进行排序,那么排序过程是什么样的?为什么有些排序执行比较快,有些排序执行很慢?又该如何去优化?索引排序索引排序指的是在通过索引查询时就完成了排序,从而不需要再单独进行排序,效率高。索引排序是通过联合索引实现的。因为联合索引是从最左边的列开始起按大小顺序进行排序,如下图。比如现在查询条件是 where sex=1 order by...

    MySQL 2020年12月31日 1196 0
  • MySQL中varchar类型字段最大长度是多少

    背景字节和字符的区分为什么是varchar(255)而不是(256)varchar字段最大值是多少latin1字符集编码下utf8字符集编码下utf8mb4字符集编码下总结背景你是否知道MySQL中的varchar字段类型最大能够存储多少数据?它的最大长度是多少?为什么有时候定义一个varchar(10)的字段可以存储10个汉字,但是不能存储超过10个长度的字母呢?为什么有时候...

    MySQL 2020年12月30日 1223 0
  • MySQL底层的存储结构

    文章目录:写在前面的话InnoDB的存储结构Tablespace常见的表空间SegmentExtentPage什么是off-pageInnoDB的文件存储格式写在前面的话你有没有想过这样一个问题:我们的数据在MySQL中是如何存放的?它是以什么样的组织方式存放在我们磁盘中的?我们知道,数据是存放在表里面的,在表里面是一行一行存在的。那么这一行一行的数据怎么样在磁盘中存放的呢?表...

    MySQL 2020年12月29日 1118 0
  • 为什么 MongoDB 选择B树,Mysql 选择B+树?

    本文献给准备面试或者是还在面试的你。常见面试题,送分题目,不拿白不拿。一、B树和B+树的区别很明显,我们想向弄清楚原因就要知道B树和B+树的区别。为了不长篇大论。我们直接给出他们的形式总结他们的特点。1、B树B树是一种自平衡的搜索树,形式很简单:这就是一颗B-树。针对我们这个问题的最核心的特点如下:(1)多路,非二叉树(2)每个节点既保存索引,又保存数据(3)搜索时相当于二分查...

    MySQL 2020年12月26日 1152 0
  • Easy Rules 配置文件外置-Mysql

    场景前一篇,介绍了Easy Rules作为Java一款轻量级的规则引擎,使得研发更加注重于纯业务开发,提高开发效率。这一篇,主要是围绕,规则配置数据,外置于数据库Mysql的实现。思路1、Mysql存储新建表t_biz_rule、t_biz_rule_compose分别存储规则定义、规则组合定义2、构建RulesMysql中的Rule、RuleCompose转换成RuleDef...

    MySQL 2020年12月26日 1730 0
  • MySQL分组查询后如何获取每组的前N条数据,你会吗?

    “分组查询”可以说是相当常见的SQL查询语句,对于MySQL数据库而言,其实现分组查询的关键字为GROUP BY,而在使用GROUP BY期间一般还会有其他的聚合函数配合使用,比如计数用的COUNT(*),统计数值和用的SUM(*),而本文要介绍的是另一种类型的“分组查询”,即分组查询出来后再查询出每一组的前N条数据。 为了方便诸位理解,还是直接举一个实际的案例吧:存在两个数据...

    MySQL 2020年12月26日 1780 0
  • 安装MySQL后,需要调整的10个性能配置项

    本文翻译自 Percona 官方博客,适用于 MySQL 5.6 及 5.7 版本。作者:Stephane Combaudon原文:https://www.percona.com/blog/2014/01/28/10-mysql-performance-tuning-settings-after-installation/在本博客中,我们将和大家讨论下 MySQL 数据库安装后...

    MySQL 2020年12月25日 1015 0
  • Mysql数据库实现主从同步,看这一篇就够了

    环境介绍: CentOS 7.5 Mysql 5.7.29 Mysql主服务器:192.168.2.128 Mysql从服务器:192.168.2.129Mysql主从同步原理: 当master服务器上的数据发生改变时(增、删、改),则将其改变写入二进制binlog日志中;slave服务器会在一定时间间隔内对master二进制日志进行探测其是否发生改变,如果发生改变,则开启一个...

    MySQL 2020年12月16日 1364 0
  • 如何在mysql 造1亿条记录的大容量数据表?

    背景及目标:现有数据1000w单表,为压力测试准备1亿条数据。步骤:1.将1000w条记录,除id外都导入到多个文件中://DELIMITER DROP PROCEDURE if EXISTS createManyTable; create PROCEDURE createManyTable() BEGIN DECLARE i int; DECLARE fileName VAR...

    MySQL 2020年12月14日 1295 0
  • 写出好的Join语句,前提你得懂这些

    前言最近在读《MySQL性能调优与架构设计》,看到一个关于join的优化原则,如下:大白话解释下:因为驱动结果集越大,意味着需要循环的次数越多,也就是说在被驱动结果集上面所 需要执行的查询检索次数会越多。比如,当两个表(表 A 和 表 B) Join 的时候,如果表 A 通过 WHERE 条件过滤后有 10 条记录,而表 B 有 20 条记录。如果我们选择表 A 作为驱动表,也...

    MySQL 2020年12月14日 1742 0
  • 简单列一下分布式高并发要做的事情

    数据库以MySQL为例。慢查询日志,索引优化(explain),覆盖索引。数据库一主多从或者双主多从。读写分离。然后对表进行垂直划分,例如一张字段很多的宽表转为子母表。水平划分,根据业务特性,对表进行分区(现在应该很少用),分表,甚至分库。数据该归档的归档,日表变月表,年表,或者变地域表等。使用sharding-jdbc等。甚至可以给数据库硬盘换上SSD。数据量再大,就该考虑大...

    MySQL 2020年12月12日 1297 0
  • 深入理解Mysql数据存储

    前言本文内容Mysql 数据文件说明Mysql 数据逻辑存储架构Mysql 表空间,主要是系统表空间和独立表空间Mysql 数据类型时区对 datetime 和 timestamp 影响,java 中 LocalDatetime 保存时,时间和预期不符的原因分析和解决办法varchar(n) 和 char(n) 保存时,n 能取多少,n 的含义。一行数据中 varchar 能存...

    MySQL 2020年12月06日 1194 0
  • MySQL模式开发设计规范问题与建议

    1.时间类型的数据默认值是否可以为null?根据反馈,时间类型的数据默认值往往在业务上无法赋予一个确定的值,而”1970-01-01“、”0000-01-01“等等的默认值在开发过程中会增加判断工作,经过新版MYSQL(版本号8.0.19)测试,为null的数据可以走索引,故开放时间类型的数据默认值的限制。* 补充不建议为Null的技术观点:老版本MYSQL在对null值的判断...

    MySQL 2020年12月04日 1525 0
  • 带你扒一扒 MySQL 的数据在我们磁盘上到底长什么样子

    前言在之前《大师,我悟了:为什么 MySQL 索引要用 B+tree ,而且还这么快?》一文中我从索引的各种数据结构和大家聊到了 MySQL 底层索引的数据结构 B+tree 和工作原理。里面多处提到了找数据是在我们电脑的磁盘上找,今天就来说一说 MySQL 中的数据在磁盘上,它到底是如何进行存储的?存储引擎MySQL 中的数据用各种不同的技术存储在文件(或者内存)中,这些不同...

    MySQL 2020年12月03日 1342 0
  • 偶遇MySQL 的JSON字段内容检索,灵活存储也需有度

    前言最近公司在做一项用户数据调查,需要统计某个值得使用频率,由于之前这个值是以一个JSON字符串形式存储的,所以不能直接用传统的方式匹配,幸亏现在数据库才做了升级版本到了5.7以后(支持JSON查询),要是放在以前,只有模糊匹配了。分析查看涉及到的字段是一个JSON对象数组类型,匹配的条件是用到对象的某一个字段,自然而然的想到了JSON_CONTAINS 函数来解决。selec...

    MySQL 2020年12月01日 1389 0
  • MySQL数据实时增量同步到Elasticsearch

    Mysql到Elasticsearch的数据同步,一般用ETL来实现,但性能并不理想,目前大部分的ETL是定时查询Mysql数据库有没有新增数据或者修改数据,如果数据量小影响不大,但如果几百万上千万的数据量性能就明显的下降很多,本文是使用Go实现的go-mysql-transfer中间件来实时监控Mysql的Binlog日志,然后同步到Elasticsearch,从实时性、性能...

    MySQL 2020年11月23日 2378 0
  • mysql垂直分库,水平分库,垂直分表,水平分表

    之前经常被问道这些分库分表的概念,只是大概知道,但是具体如何定义的,问什么这么定义还是不太理解,今天对着数据表中的数据沉思的时候,突然间醒悟,原来这些概念非常好理解,而且可以说水平和垂直这两个词用得恰到好处,非常形象地帮助我们理解它们。水平分表顾名思义,水平分表就是把表中的数据进行了水平切割,意味着按照行进行切割,也就是说不同行的数据被切割后可能在不同的表中。如图所示,根据水平...

    MySQL 2020年11月18日 1214 0
  • 基于 Flink 实现解决数据库分库分表任务拆分

    1、场景描述例如订单库进行了分库分表,其实例如下图所示:现在的需求是希望创建一个任务就将数据同步到MQ集群,而不是为每一个数据库实例单独创建一个任务,将其数据导入到MQ集群,因为同步任务除了库不同之外,表的结构、数据映射规则都是一致的。 2、flinkx 的解决方案详解 2.1 fink Stream API 开发基本流程使用 Flink Stream API 编程的通用步骤...

    MySQL 2020年11月17日 1691 0
  • 性能测试 | Jmeter对数据库mysql压测就是这么简单

    一、测试计划-----添加JDBC驱动链接这里我用的mysql数据库是8.5版本,那么我相对应的JDBC驱动选择了8.0.11版本,JDBC驱动可以在mys ql的官网下载,具体地址是:https://dev.mysql.com/downloadsdownload下载后解压文件夹,把文件夹中的mysql-connector-java-8.0.11.jarb copy到jmete...

    MySQL 2020年11月14日 1860 0
  • 新特性解读 | MySQL 8.0.22 任意格式数据导入

    上一章讲了数据库基本上都用 B+ 树来存储索引的原因:适合磁盘存储,能够充分利用多叉平衡树的特性,磁盘预读,并且很好的支持等值,范围,顺序扫描等。这篇主要介绍 MySQL 两种常用引擎,MyISAM 和 InnoDB 的索引组织方式,了解这些存储方式,对数据库优化很有帮助。MySQL 的索引按照存储方式分为两类:聚集索引:也称 Clustered Index。是指关系表记录的物...

    MySQL 2020年11月12日 1585 0
  • 基于 Flink SQL CDC的实时数据同步方案

    Flink 1.11 引入了 Flink SQL CDC,CDC 能给我们数据和业务间能带来什么变化?本文由 Apache Flink PMC,阿里巴巴技术专家伍翀 (云邪)分享,内容将从传统的数据同步方案,基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。传统数据同步方案基于 Flink SQL CDC 的数据同步方案(D...

    MySQL 2020年11月03日 21297 0
  • MySQL 8.0.22 新特性

    MGR 具备了 RPO=0 的高可用容灾能力,但并不适合跨 WAN 场景下使用,像有两地三中心容灾需求的场景,单纯靠 MGR 是无法满足的,必须要拉上异步复制。同城双中心距离在百十公里内,网络延迟可接受,要求 RPO=0,那么部署一组 MGR;异地容灾中心距离在上百公里,网络延迟较大,接受 RPO>0,通过异步复制,部署单节点或对称部署一组 MGR。在两地三中心架构下,如...

    MySQL 2020年11月03日 2347 0
  • 最完整的Explain总结,妈妈再也不担心我的SQL优化了

    在 select 语句之前增加 explain 关键字,MySQL 会在查询上设置一个标记,执行查询时,会返回执行计划的信息,而不是执行这条SQL(如果 from 中包含子查询,仍会执行该子查询,将结果放入临时表中)CREATE TABLE `film` (  `id` int(11) NOT NU...

    MySQL 2020年08月27日 1563 0
  • mysql数据库优化方案之分库分表,轻松解决亿级数据问题

    今天介绍下sharding-sphere,主要介绍他的特性,分库分表的技术的详解。(一)下载源码官网地址获取源码https://shardingsphere.apache.org/index_zh.html下载源码因为git的包名比较长,git有可以创建4096长度的文件名,然而在windows最多是260,因为git用了旧版本的windows api,为此踩了个坑。从gith...

    MySQL 2020年08月07日 2052 0
  • 烹饪MySQL8.0 Cluster这道菜

    此文将带领大家接触MySQL8.0版本,并且部署Mysql Cluster。香。香。香。一:写在前面--MySQL8.0的改进1:性能:MySQL 8.0 的速度要比 MySQL 5.7 快 2 倍。MySQL 8.0 在以下方面带来了更好的性能:读/写工作负载、IO 密集型工作负载、以及高竞争("hot spot"热点竞争问题)工作负载。MySQL8.0、MySQL5.7、M...

    MySQL 2020年06月12日 2923 0
  • 一款能快速批量处理SQL文本的软件:NimbleText

    前言做为一个后台程序员,在日常工作中,经常会遇到领导扔给一个Excel,让把 Excel 的数据导入数据库的情况。如果只是少量数据,几条甚至说几十条,还可以勉强地组织一下 insert 插入语句;但大多数情况下,都是成百上千行的数据,若要是再手动一条一条组织 insert 插入语句,岂不得累死。于是乎,为了减少重复工作,提高工作效率,小编找到了一款能快速批量处理SQL文本的软件...

    MySQL 2020年05月08日 2823 0
  • 6步带你看懂MySQL 整体架构

    MySQL 在整体架构上分为 Server 层和存储引擎层。其中 Server 层,包括连接器、查询缓存、分析器、优化器、执行器等,存储过程、触发器、视图和内置函数都在这层实现。数据引擎层负责数据的存储和提取,如 InnoDB、MyISAM、Memory 等引擎。在客户端连接到 Server 层后,Server 会调用数据引擎提供的接口,进行数据的变更。连接器负责和客户端建立连...

    MySQL 2020年05月05日 1615 0
  • MySQL用户及权限知识梳理

    一、账号用户账号MySQL用户账号组成: 'USER'@'HOST'USER: 用户名。HOST: 来源主机地址,IP、主机名、通配符(%和_)。创建用户账号:mysql> CREATE USER 'USER'@'HOST';mysql> CREATE USER 'USER'@'HOST' IDENTIFIED BY 'PWD';用户重命名:mysql> RE...

    MySQL 2020年04月26日 2116 0