MySQL 刷脏页
平时的工作中,不知道你有没有遇到过这样的场景,一条 SQL 语句,正常执行的时候特别快,但是有时也不知道怎么回事,它就会变得特别慢,并且这样的场景很难复现,它不只随机,而且持续时间还很短。在这一瞬间,MySQL 可能就是在刷脏页(flush)。 当内存数据页跟磁盘数据页内容不一致的时候,我们称这个内存页为“脏页”。内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。 ...
平时的工作中,不知道你有没有遇到过这样的场景,一条 SQL 语句,正常执行的时候特别快,但是有时也不知道怎么回事,它就会变得特别慢,并且这样的场景很难复现,它不只随机,而且持续时间还很短。在这一瞬间,MySQL 可能就是在刷脏页(flush)。 当内存数据页跟磁盘数据页内容不一致的时候,我们称这个内存页为“脏页”。内存数据写入到磁盘后,内存和磁盘上的数据页的内容就一致了,称为“干净页”。 ...
与查询流程不一样的是,更新流程还设计两个重要模块:redo log 和 binlog。 以下面的一条sql为例 (ID为主键) update T set b=b+1 where ID = 2 客户端通过连接器与 mysql 建立连接 删除要update表的缓存 分析器解析 sql 并判断是否含有语句错误 优化器确定查询索引 执行器调用 Innodb 存储引...
存储结构 MySQL的存储结构 表存储结构 单位:表>段>区>页>行 在数据库中, 不论读一行,还是读多行,都是将这些行所在的页进行加载。也就是说存储空间的基本单位是页。 一个页就是一棵树B+树的节点,数据库I/O操作的最小单位是页,与数据库相关的内容都会存储在页的结构里。 B+树索引结构 在一棵B+树中,每个节点为都是一个页,每次新建节点的时候,就会申请一个页...
mysql 大概分为 server 层和存储引擎层两个部分,引擎的架构模式是插件形式的,mysql支持多种引擎如 InnoDB、MyISAM、Memory 等,其中 Innodb是应用最广泛的,mysql5.5.5版本后,将Innodb设为默认存储引擎。 server 层 连接器 连接器负责跟客户端建立连接、获取权限、维持和管理连接。一个用户成功建立连接后,即使你用管理员账...
Redis以高性能著称,不仅其因为采用了单线程,IO多路复用,纯内存读写等等,它还在底层的数据结构实现上用了很大的心思。针对不同的场景采用了不同的数据结构,以提升数据读写效率,降低数据存储空间。 Redis底层使用六种数据结构 简单动态字符串(SDS) hash表(散列表/字典) 链表 跳表 整型数组 压缩列表 Hash表 首先Redis的底层...
Redis的慢查询日志功能用于记录执行时间超过给点时长的命令请求,用户可以通过日志来监视和优化查询速度。 慢查询日志配置 我们可以通过配置文件或者命令方式配置 slowlog-log-slower-than(执行时间超过多少微妙的命令会被记录) 和 slowlog-max-len (最多保存多少条日志记录) 配置文件 slowlog-log-slower-than 1...
Sentinel(哨兵)是redis的高可用解决方案:由一个或多个Sentinel实例组成Sentinel系统可以监视任意多个主服务器,以及这些这些主服务器下属的所有从服务器,并在被监视的主服务器进入下线状态后,自动将下线主服务器下属的某个从服务器升级为新的主服务器,然后由新的主服务器代替已下线的主服务器继续处理命令请求。 配置 创建一个Sentinel.conf配置文件内容如下...
redis是C语言实现的,但redis中的字符串并没有直接用C语言中的字符串表示,而是自己构建了一种简单的动态字符串类型(SDS)。 在redis里面,C字符串只用作字面量,用在一些不会修改的地方,eg:打日志。 SDS的结构: struct sdshdr{ int free; int len; char buf[]; } free 属性值为0 表...
redis应用场景总结redis平时我们用到的地方蛮多的,下面就了解的应用场景做个总结: 热点数据的缓存:由于redis访问速度块、支持的数据类型比较丰富,所以redis很适合用来存储热点数据,另外结合expire,我们可以设置过期时间然后再进行缓存更新操作,这个功能最为常见,我们几乎所有的项目都有所运用。 限时业务的运用:redis中可以使用expir...
数据持久化功能是redis相比于其他缓存中间件具有的优势之一,它可以保证在redis重启时,数据不丢失,以提升系统的性能及可用性。 那么redis是如何实现数据持久化的呢?它提供了两种数据持久化的解决方案: RDB、AOF。 RDB redis默认的持久化策略是RDB方案,rdb方案生成的rdb文件是一个经过压缩的二进制文件,通过它可以还原到生成RDB文件时的数据库状态,当re...
在redis中,我们可以通过slaveof命令或配置选项,让一个服务器去复制另一个服务器,我们称被复制的服务器为主服务器,而对主服务器进行复制的服务器为从服务器。 下面是从服务器设置主服务器相关的配置,如果主服务器设置了requirepass 选项,需要在masterauth配置上主服务的密码。 slaveof 127.0.0.1 6379 # If the master is pass...
过期key删除策略 在我们用 redis 存储数据时,大多数场景都会给key设置一个过期时间,那么当key过期后,redis是如何处理的呢。大家可能会想到定时器的方案,当我们给key设置过期时间的同时设置一个定时器,到达时间后,删除过期的key,但这种方式在内存不紧张但Cpu紧张时,将cpu时间用在删除过期key上,无疑会对系统的吞吐量造成影响。所以redis没有采用这种方案,而是使用了 ...
#redis的配置 #Redis默认不是以守护进程的方式运行,可以通过该配置项修改,使用yes启用守护进程 daemonize yes #当Redis以守护进程方式运行时,Redis默认会把pid写入redis.pid文件,可以通过pidfile指定 pidfile 'E:/xxx/redis/redis_pid/redis.pid' #端口 port 6379 #绑定主机的i...
Redis集群是Redis提供的分布式数据库方案,集群通过分片(sharding)来进行数据共享,并提供复制和故障转移功能。 节点通过握手将其它节点添加到自己所在的集群。 集群中的16384个槽可以分别指派给集群中的各个节点,每个节点都会记录哪些槽指派给了具体哪个节点。 节点在收到客户端命令请求时,会先检查这个命令请求处理的键所在的槽是否由自己负责,如果不是的话,节点将向客户...
Go 基础 简介 Go 语言主要特征 自动立即回收。 更丰富的内置类型。 函数多返回值。 错误处理。 匿名函数和闭包。 类型和接口。 并发编程。 反射。 语言交互性。 25个关键字 go break switch case select package import func ...