前面说了lru链表,为了防止mysql的预读和全表查询刷新pool的频率太高,所以把lru链表分为young区域和old区域,但是频繁的移动lru链表也影响性能,所以当在young后半部1/4区域的时候,才会移动到最前面。初始数据从磁盘刷新到内存中,先是进入old区域,当超过1S之后继续访问,则会移动到young区域。预读分为两种,第一种是当mysql检测到执行语句按顺序查询超过一定值,则会吧下一个区的所有页全部都预先刷新到缓存页里,第二种就是13个页在同一个区,这时候会吧这个区的数据全部刷新到缓存页。
前面说了每隔一段时间,会把修改了缓存页的脏数据,刷新到磁盘上,主要有两个刷新路径:
有时候刷新脏数据到磁盘比较慢,如果在没刷新之前,有新的查询过来,而free链表已经没有空闲缓存页,这时候需要去尾部吧数据释放,如果尾部存在脏数据,这时候则会强行吧脏数据持久化到磁盘上。这种方式称为BUF_FLUSH_SINGLE_PAGE。
当然有时候系统特别忙的时候,用户大量访问时,也会出现用户线程批量从flush链表持久化脏数据,磁盘的I/O操作慢的要死,显然这是迫不得已的行为,后面redo日志的checkpoint时说。
上面说过,mysql服务器启动的时候,就会根系统申请buffer pool的内存空间,在多线程的情况下,各个链表都需要加锁进行处理,但在buffer pool特别大,并且多线程访问量也别高的情况下,单一的buffer pool会影响处理速度。所以会吧buffer pool会分成各种小的buffer pool,这些称为实例,他们都是独立去申请内存空间,独立管理的链表,并且在多线程访问的情况下互不影响,可以通过innodb_buffer_pool_instance的值来修改buffer pool可以创建几个实例。
innodb_buffer_pool_instances = 2
表示我们需要两个buffer_pool实例。
那么每个pool_instance占多少内存呢,其实就是我们之前的总数除一下
Innodb_buffer_pool_size / innodb_buffer_pool_instances
但因为创建多个实例管理他们也是有开销的,mysql规定,当innoDB_buffer_pool_size在1G以下的时候,默认都是一个实例,设置多个也是无效的,所以只有大于1G的时候才鼓励设置多个实例。
在mysql5.7.5之前,buffer pool只有在mysql服务器启动之前修改,在5.7.5之后,服务器运行的时候也可以修改,但有个问题,每次当我们重新调整buffer pool的值时候 ,都要重新向系统申请一块连续的内存空间,然后再将旧的数据拷贝到新的内存中(有木有类似java的数组),很显然这是极其耗时的。
一个buffer_pool_instance有两个chunk,因为有了这个概念,我们在服务器运行的时候,都是以chunk来增加或者删除,而不需要申请一大片空间,然后拷贝数据。
Chunk的值可以在服务器启动之前通过innodb_buffer_pool_chunk_Size来设置,默认值是134217728,也就是128,需要注意的是,这个chunk_Size只可以在服务器启动前指定。
(注意:为什么在服务器运行的时候不可以修改innodb_buffer_pool_chunk_size呢?还不是因为如果改了,前面数据存储的大小和新的就不一样,这样还是得把前面的数据copy到新的chunk,这样设置chunk的意义就不存在。)
innoDB_buffer_pool_size 必须是 innoDB buffer_pool_insatances * innoDB buffer_pool_chunk_size的倍数,这里主要想保证每个chunk是相等的,而且不会浪费内存空间,产生碎片。
mysqld --innodb-buffer-pool-size=8G --innodb-buffer-pool-instances=16
当我们吧pool_size改成8g,instances为16,因为chunk_size默认是128m,8G符合的倍数。
mysql> show variables like 'innodb_buffer_pool_size'
+-------------------------+------------+
| Variable_name | Value |
+-------------------------+------------+
| innodb_buffer_pool_size | 8589934592 |
+-------------------------+------------+
1 row in set (0.00 sec)
查看之后我们可以看到是正常的,但如果设置成9g,则会系统默认会改为10G
mysqld --innodb-buffer-pool-size=9G --innodb-buffer-pool-instances=1
mysql> show variables like 'innodb_buffer_pool_size';
+-------------------------+-------------+
| Variable_name | Value |
+-------------------------+-------------+
| innodb_buffer_pool_size | 10737418240 |
+-------------------------+-------------+
1 row in set (0.01 sec)
如果服务器在启动的时候,innodb_buffer_pool_chunk_size * innodb_buffer_pool_instances 大于innoDB_buffer_pool_size,这时候,chunk_size的值会默认改为 innodb_buffer_pool_chunk_size / innodb_buffer_pool_instances。
mysqld --innodb-buffer-pool-size=2G --innodb-buffer-pool-instances=16 --innodb-buffer-pool-chunk-size=256M
因为256m*16 = 4G >2g
mysql> show variables like 'innodb_buffer_pool_size';
+-------------------------+------------
| Variable_name | Value |
+------------------------+------------+
| innodb_buffer_pool_size | 2147483648 |
+-------------------------+------------+
1 row in set (0.01 sec)
mysql> show variables like 'innodb_buffer_pool_chunk_size';
+-------------------------------+-----------+
| Variable_name | Value |
+-------------------------------+-----------
| innodb_buffer_pool_chunk_size | 134217728 |
+------------------------------+-----------
1 row in set (0.00
Buffer pool除了存储缓存页外,还会存储锁信息,自适应哈希索引等信息,后面会详细介绍。
mysql> SHOW ENGINE INNODB STATUS\G
(...省略前边的许多状态)
----------------------
BUFFER POOL AND MEMORY
----------------------
Total memory allocated 13218349056;
Dictionary memory allocated 4014231
Buffer pool size 786432
Free buffers 8174
Database pages 710576
Old database pages 262143
Modified db pages 124941
Pending reads 0
Pending writes: LRU 0, flush list 0, single page 0
Pages made young 6195930012, not young 78247510485
108.18 youngs/s, 226.15 non-youngs/s
Pages read 2748866728, created 29217873, written 4845680877
160.77 reads/s, 3.80 creates/s, 190.16 writes/s
Buffer pool hit rate 956 / 1000, young-making rate 30 / 1000 not 605 / 1000
Pages read ahead 0.00/s, evicted without access 0.00/s, Random read ahead 0.00/s
LRU len: 710576, unzip_LRU len: 118
I/O sum[134264]:cur[144], unzip sum[16]:cur[0]
--------------
(...省略后边的许多状态)
mysql>
total memory allocated :表示buffer pool向操作系统申请内存,包括控制块,缓存页,碎片。
dictionary memory allocated:为数据字典分配的内存空间,这个和内存空间buffer pool没啥关系,不包含在total memory allocated。
buffer pool size:页为单位,单表buffer pool 多少缓存页。
free buffers:代表free 链表多少个节点,多少空闲缓存页。
database pages:代表lru链表多少个页数量,包含young区域和old区域。
old database pages:代表lru的old区域页数量。
modified db pages:代表脏页数量,flush链表页的数量。
pending reads:正在等待从磁盘加载到buffer pool的页面数。
当查询开始,准备从磁盘加载某个数据,会先为buffer pool分配一个缓存页和控制块,然后把这个控制块添加到old的头部,但这时候真正的磁盘页没有加载进来,pending reads+1。
pending write LRU:即将从LRU链表刷新到磁盘的页面数。
pending write flush list:从flush 链表刷新到磁盘的页面数。
pendig write single page:即将以单个页面的形式刷新到磁盘的页面数。
pages made young:代表曾从old节点数移动到young区域的数量。
只有在old节点数量移动到young里才+1,如果在young后面的1/4出移动到young区域头部,并不会+1。
page made not young:当innoDb_old_block_time的时间设置1s,但初次访问的时间和最后访问的时间没超过这个时间,导致当前数据没有移动到young里,就会让当前参数+1。
youngs/s:每秒从old区域移动到young区域的节点数。
non youngs/s:代表每秒不满足从old移动到young区域的节点数。
pages read,created,written:代表读取,创建写入多少页,后面跟着写入的速率。
buffer pool hit rate:在过去时间段,平均访问1000次页面,有多少次页面已经被缓存在buffer pool。
young-making rate:再过去时间段,平均访问1000次页面,有多少次没有使页面移动到young区域头部。
这里统计的不光从old区域移动到young区域头部,也统计从young后半部1/4区域移动到young区域头部的数据。
LRU len:代表lru链中的节点数。
unzip_lru:代表unzip_lru的节点数。
I/O sum:最近50s读取页的总数。
I/O cur:最近正在读取的磁盘数量。
I/o unzip sum:最近50s解压数量。
I/O unzip cur:正在解压页面数量。
文章浏览阅读502次。原标题:用Python帮小姐姐选口红,人人都是李佳琦 对于李佳琦,想必知道他的女生要远远多于男生,李佳琦最早由于直播向广大的网友们推荐口红,逐渐走红网络,被大家称作“口红一哥”。不可否认的是,李佳琦的直播能力确实很强,他能够抓住绝大多数人的心理,让大家喜欢看他的直播,看他直播推荐的口红适不适合自己,色号适合什么样子的妆容。为了提升效率,让自己的家人或者女友能够快速的挑选出合适自己妆容的口红色号,今..._获取口红品牌 及色号,色值api
文章浏览阅读3.6k次。简介awk命令的名称是取自三位创始人Alfred Aho 、Peter Weinberger 和 Brian Kernighan姓名的首字母,awk有自己的程序设计语言,设计简短的程序,读入文件,数据排序,处理数据,生成报表等功能。awk 通常用于文本处理和报表生成,最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后,才能进行其他文本操作。awk 通常以文件的一行为处理单位..._linux awk nr
文章浏览阅读1.3w次,点赞5次,收藏2次。在网上找了一个小时,一直没有头绪,因为上个星期还是好好的,最后看到一个大神的解答,只需要将防火墙关闭就好了.原本向测试功能的,却卡在了登录上.以此记录.另外好像还有种错误是电脑与手机连接的WiFi不同,也可以看看...._failed to connect to 192.168.88.218:80
文章浏览阅读1.9k次。利用MATLAB仿真多种多径衰落信道摘要:移动信道的多径传播引起的瑞利衰落,时延扩展以及伴随接收过程的多普勒频移使接受信号受到严重的衰落,阴影效应会是接受的的信号过弱而造成通信的中断:在信道中存在噪声和干扰,也会是接收信号失真而造成误码,所以通过仿真找到衰落的原因并采取一些信号处理技术来改善信号接收质量显得很重要,这里利用MATLAB对多径衰落信道的波形做一比较。一,多径衰落信道的特点关于多径衰落..._matlab多径衰落工具箱
文章浏览阅读1w次,点赞2次,收藏17次。Json简介:Json,全名 JavaScript Object Notation,是一种轻量级的数据交换格式。它基于 ECMAScript (w3c制定的js规范)的一个子集,采用完全独立于编程语言的文本格式来存储和表示数据。简洁和清晰的层次结构使得 JSON 成为理想的数据交换语言。 易于人阅读和编写,同时也易于机器解析和生成,并有效地提升网络传输效率。(来自百度百科)python关于json文_import json灰色
文章浏览阅读1.1k次,点赞6次,收藏3次。一、工作原理MHA工作原理总结为以下几条:(1) 从宕机崩溃的 master 保存二进制日志事件(binlog events);(2) 识别含有最新更新的 slave ;(3) 应用差异的中继日志(relay log) 到其他 slave ;(4) 应用从 master 保存的二进制日志事件(binlog events);(5) 通过Manager控制器提升一个 slave 为新 m..._mysql mha超详细教程
文章浏览阅读194次。一 java环境安装:1 安装JDK 参考链接地址:https://blog.csdn.net/qq_42815754/article/details/82968464注:有网情况下直接 yum 一键安装:yum -y list java(1)首先执行以下命令查看可安装的jdk版本(2)选择自己需要的jdk版本进行安装,比如这里安装1.8,执行以下命令:yum install -y java-1.8.0-openjdk-devel.x86_64(3)安装完之后,查看安装的jdk 版本,输入以下指令_linux的java主从策略是什么
文章浏览阅读104次。定义int 类型,由while实现A,B的连续输入,输出A+B的值按Ctrl Z结束循环。#include<iostream>using namespace std;int main(){ int A,B; while(cin>>A>>B) { cout<<A+B<&_acm竞赛题 i 'm from mars
文章浏览阅读5.2k次。在需要给TextView的某句话添加点击事件的时候,我们一般会使用ClickableSpan来进行富文本编辑。与此同时我们还需要配合 textView.setMovementMethod(LinkMovementMethod.getInstance());方法才能使点击处理生效。但与此同时还会有一个问题:如果我们给父布局添加一个点击事件,需要在点击非链接的时候触发(例如RectclerV..._linkmovementmethod
文章浏览阅读1.1w次,点赞6次,收藏31次。JAVA实现压缩解压文件_java 解压zip
文章浏览阅读1.3w次,点赞7次,收藏21次。在Java 8 中使用Stream 例子对一个 Map 进行按照keys或者values排序.1. 快速入门 在java 8中按照此步骤对map进行排序.将 Map 转换为 Stream 对其进行排序 Collect and return a new LinkedHashMap (保持顺序)Map result = map.entrySet().stream() .sort..._java comparingbykey
文章浏览阅读497次。第一次参加GDKOI,考完感觉还可以,结果发现还是不行,有一些地方细节打错,有些失分严重,总结出以下几点:1.大模拟一定要注意,细节打挂就是没分,像T1就是一道大模拟题,马上切了,后面就没想着检查以下,导致有些地方挂掉了,用民间数据一测,才85分。2.十年OI一场空,不开longlonglong longlonglong见祖宗。今天的T2本来想用暴力水点分的,结果没想到longlong→intlong long\to intlonglong→int,40→040\to040→0。3.代码实现能力太差,_gdkoi