[MySQL] MySQL中的redo log和undo log日志详解

   

• redo log buffer的日志占据redo log buffer总容量的一半时，将redo log写入磁盘。   
  
• 一个事务提交时，他的redo log都刷入磁盘，这样可以保证数据绝不丢失（最常见的情况）。注意这时内存中的脏页可能尚未全部写入磁盘。   
  
• 后台线程定时刷新，有一个后台线程每过一秒就将redo log写入磁盘。   
  
• MySQL关闭时，redo log都被写入磁盘。
  

   

• 将原始数据读入内存，修改数据的内存副本。   
  
• 生成redo log并写入重做日志缓冲区，redo log中存储的是修改后的新值。   
  
• 事务提交时，将重做日志缓冲区中的内容刷新到重做日志文件。   
  
• 随后正常将内存中的脏页刷回磁盘。
  

   

• 当innodb_flush_log_at_trx_commit值为1时（默认）。事务每次提交都必须将log buffer中的日志写入os buffer并调用fsync()写入磁盘中。
  

   

• 当innodb_flush_log_at_trx_commit值为0时。事务提交时不将log buffer写入到os buffer，而是每秒写入os buffer并调用fsync()写入到log file on disk中。
  

   

• 当innodb_flush_log_at_trx_commit值为2时。每次提交都仅写入os buffer，然后每秒调用fsync()将os buffer中的日志写入到log file on disk中。
  

#创建测试表
drop table if exists test_flush_log;
create table test_flush_log(id int,name char(50))engine=innodb;
#创建插入指定行数的记录到测试表中的存储过程
drop procedure if exists proc;
delimiter $$
create procedure proc(i int)
begin
  declare s int default 1;
  declare c char(50) default repeat('a',50);
  while s<=i do
    start transaction;
    insert into test_flush_log values(null,c);
    commit;
    set s=s+1;
  end while;
end$$
delimiter ;

test> call proc(100000)
[2021-07-25 13:22:02] completed in 27 s 350 ms

test> set @@global.innodb_flush_log_at_trx_commit=2;  
test> truncate test_flush_log;
test> call proc(100000)
[2021-07-25 13:27:33] completed in 5 s 774 ms

test> set @@global.innodb_flush_log_at_trx_commit=0;
test> truncate test_flush_log;
test> call proc(100000)
[2021-07-25 13:30:34] completed in 3 s 537 ms

drop procedure if exists proc;
delimiter $$
create procedure proc(i int)
begin
  declare s int default 1;
  declare c char(50) default repeat('a',50);
  start transaction;
  while s<=i DO
    insert into test_flush_log values(null,c);
    set s=s+1;
  end while;
  commit;
end$$
delimiter ;

   

• FIX规则。写时必须使用独占锁，读时必须使用共享锁。反正就是要锁住。   
  
• 预写日志。预写日志即WAL，Write-Ahead Log。持久化数据之前，必须先持久化内存中的日志。每个页面都有一个LSN（日志序列号）。在将数据写入磁盘前，要先将内存中序列号小于LSN的日志写入磁盘。WAL提供三种持久化模式
  

   

• 每个数据修改后被写入迷你事务私有缓冲区。   
  
• 当更新语句完成，redo log从迷你事务私有缓冲区被写入内存中的公共日志缓冲区。   
  
• 提交外部事务时，会将重做日志缓冲区刷入重做日志文件。
  

   

• log_block_hdr_no：(4字节)该日志块在redo log buffer中的位置ID。   
  
• log_block_hdr_data_len：(2字节)该log block中已记录的log大小。写满该log block时为0x200，表示512字节。   
  
• log_block_first_rec_group：(2字节)该log block中第一个log的开始偏移位置。   
  
• lock_block_checkpoint_no：(4字节)写入检查点信息的位置。
  

   

• edo log记录了事务的行为，可以很好地保证一致性，对数据进行“重做”操作。但事务有时还需要进行“回滚”操作，这时就需要undo log。当我们对记录做了变更操作的时候就需要产生undo log，其中记录的是老版本的数据，当旧事务需要读取数据时，可以顺着undo链找到满足其可见性地记录。   
  
• undo log通常以逻辑日志的形式存在。我们可以认为当delete一条记录时，undo log会产生一条对应的insert记录，反之亦然。当update一条记录时，会产生一条相反的update记录。   
  
• undo log采用段segment的方式来记录，每个undo操作在记录的时候占用一个undo log segment。   
  
• undo log也会产生redo log，因为undo log也要实现持久性保护。
  

delete from t where a = 1

   

• sharp checkpoint：在重用redo log文件(例如切换日志文件)的时候，将所有已记录到redo log中对应的脏数据刷到磁盘。   
  
• fuzzy checkpoint：一次只刷一小部分的日志到磁盘，而非将所有脏日志刷盘。有以下几种情况会触发该检查点：
  

   

• 数据页的版本信息。   
  
• 写入的日志总量。   
  
• 检查点的位置。
  

   

• redo log的记录中。   
  
• 每个数据页的头部有一个变量fil_page_lsn记录了本页最终的LSN值是多少。
  

   

• log sequence number记录了当前的redo log(in buffer)中的LSN。   
  
• log flushed up to是刷到磁盘重做日志文件中的LSN。   
  
• pages flushed up to是已经刷到磁盘数据页上的LSN。   
  
• last checkpoint at是上一次检查点所在位置的LSN。
  

log sequence number(110) > log flushed up to(100) = pages flushed up to = last checkpoint at

log sequence number(150) = log flushed up to > pages flushed up to(100) = last checkpoint at

log sequence number > log flushed up to 和 pages flushed up to > last checkpoint at

log sequence number = log flushed up to > pages flushed up to = last checkpoint at