1.PostgreSQL · 源码分析 · 回放分析（一）
2.[转载] 细说jbd （journal-block-device）& 源码分析
3.运维基础（10）linux被删数据恢复方法
4.记一次血淋淋的数据数据MySQL崩溃修复案例

PostgreSQL · 源码分析 · 回放分析（一）

       在数据库运行中，可能遇到非预期问题，恢复恢复如断电、原理源码原理源码崩溃。数据数据这些情况可能导致数据异常或丢失，恢复恢复影响业务。原理源码原理源码expma副图公式源码为了在数据库重启时恢复到崩溃前状态，数据数据确保数据一致性和完整性，恢复恢复我们引入了WAL（Write-Ahead Logging）机制。原理源码原理源码WAL记录数据库事务执行过程，数据数据当数据库崩溃时，恢复恢复利用这些记录恢复至崩溃前状态。原理源码原理源码

       WAL通过REDO和UNDO日志实现崩溃恢复。数据数据REDO允许对数据进行修改，恢复恢复UNDO则撤销修改。原理源码原理源码REDO/UNDO日志结合了这两种功能。除了WAL，还有Shadow Pagging、WBL等技术，但WAL是主要方法。

       数据库内部，日志管理器记录事务操作，缓冲区管理器负责数据存储。当崩溃发生，恢复管理器读取事务状态，回放已提交数据，主力动态持仓源码回滚中断事务，恢复数据库一致性。ARIES算法是日志记录和恢复处理的重要方法。

       长时间运行后崩溃，可能需要数小时甚至数天进行恢复。检查点技术在此帮助，将脏数据刷入磁盘，记录检查点位置，确保恢复从相对较新状态开始，同时清理旧日志文件。WAL不仅用于崩溃恢复，还支持复制、主备同步、时间点还原等功能。

       在记录日志时，WAL只在缓冲区中记录，直到事务提交时等待磁盘写入。LSN（日志序列号）用于管理，只在共享缓冲区中检查。XLog是事务日志，WAL是持久化日志。

       崩溃恢复中，checkpointer持续做检查点，加快数据页面更新，提高重启恢复速度。vc 压力测试源码在回放时，数据页面不断向前更新，直至达到特定LSN。

       了解WAL格式和包含信息有助于理解日志内容。PG社区正在实现Zheap特性，改进日志格式。WAL文件存储在pg_wal目录下，大小为1GB，与时间线和LSN紧密关联。事务日志与WAL段文件相关联，根据特定LSN可识别文件名和位置。

       使用pg_waldump工具可以查看日志内容，理解一次操作记录。日志类型包括Standby、Heap、Transaction等，对应不同资源管理器。PostgreSQL 包含种资源管理器类型，涉及堆元组、索引、序列号操作。

       标准记录流程包括：读取数据页面到frame、记录WAL、进行事务提交。插入数据流程生成WAL，bbs 项目 源码下载复杂修改如索引分裂需要记录多个WAL。

       崩溃恢复流程从控制文件中获取检查点位置，严格串行回放至崩溃前状态。redo回放流程与记录代码高度一致。在部分写问题上，FullPageWrite（FPW）策略记录完整数据页面，防止损坏。WAL错误导致部分丢失不影响恢复，数据库会告知失败。磁盘静默错误和内存错误需通过冗余校验解决。

       本文总结了数据库崩溃恢复原理，以及PostgreSQL日志记录和崩溃恢复实现。深入理解原理可提高数据库管理效率。下文将详细描述热备恢复和按时间点还原（PITR）方法。

[转载] 细说jbd （journal-block-device）& 源码分析

       文章探讨了journal-block-device (jbd)在ext4文件系统中的应用，虽然以ext3的jbd2分析为主，但其设计思想相似。jbd的核心目标是解决文件系统中事务的原子性和数据恢复问题。它通过将内存中的事务数据记录在单独的日志空间，确保操作的原子性，并能在系统故障后从日志恢复数据。以下是关键概念和操作的概述：

       1. 通过将文件系统操作抽象为原子操作，jbd将多个操作组成事务，确保数据的一致性。

       2. 日志模式的微信种菜源码划分和管理是jbd的重要组成部分，包括journal_start, journal_stop等基本操作。

       3. 数据结构如handle_t, transaction_t和journal_t被用于存储和管理事务信息。

       4. jbd涉及元数据和数据缓冲区处理流程，以及journal_recover函数在恢复阶段的角色，如PASS_SCAN, PASS_REVOKE和PASS_REPLAY。

       5. 提交事务时，kjournald负责关键步骤，如journal_commit_transaction, journal_write_metadata_buffer等。

       6. 日志恢复是整个机制的核心环节，确保在系统崩溃后能正确恢复数据和元数据。

       文章详细介绍了这些概念和操作，展示了jbd如何在ext3和ext4中扮演关键角色，确保数据安全和完整性。通过深入理解这些原理，我们可以更好地理解文件系统的可靠性和性能优化。

运维基础（）linux被删数据恢复方法

       源代码托管网站sourceforge.net提供了一个名为extundelete的工具，用于Linux系统中被删除数据的恢复。extundelete具有多种参数和动作，帮助用户在不同场景下恢复丢失的数据。

       在使用extundelete之前，首先需要安装必要的软件包。通过命令行操作，依次执行#cd /usr/local/src，#yum install gcc-c++，#yum install e2fsprogs-devel e2fsprogs，#wget zy-res.oss-cn-hangzhou.aliyuncs.com，#tar -jxvpf extundelete-0.2.4.tar.bz2，#cd extundelete-0.2.4，#./configure ; make ; make install。这一步确保了extundelete的安装和配置。

       在数据恢复阶段，首先需要确认文件系统挂载情况。以sdb1和sdb2作为示例，分别在mnt1和mnt2目录下存放了文件1.file和2.file。通过#cd /mnt1，执行#rm -rvf 1.file删除文件，然后#cd /#umount /mnt1确保磁盘挂载安全解除，避免数据丢失。执行#extundelete /dev/sdb1 --inode 2命令恢复特定inode编号的文件，确保恢复过程正确无误。

       对于目录恢复，使用#extundelete /dev/sdb1 --restore-directory tmp命令，其中tmp是被删除目录的路径。通过恢复目录结构，用户可以迅速恢复丢失的数据组织。

       extundelete的强大之处在于，它无需依赖特定的文件格式进行恢复。其工作流程包括：首先通过文件系统的inode信息（根目录inode通常为2）获取文件系统的文件信息，包括已存在和已删除文件的详细信息，如文件名和inode；然后利用inode信息结合日志查询文件所在的block位置，包括直接块、间接块等信息；最后，通过dd命令备份这些信息，完成数据恢复。

       为了确保数据恢复的安全性，建议使用umount命令解除磁盘挂载。未解除挂载直接运行恢复命令可能导致数据丢失风险。在恢复操作后，通过#ls /mnt1/1.file命令验证文件恢复成功。

       欢迎关注微信公众号厦门微思网络，获取更多专业IT认证培训信息，包括思科、华为、红帽、ORACLE、VMware、CISP、PMP等课程。通过往期回顾，了解运维基础系列内容，包括Nginx、实用工具篇、备份篇、流量监控工具篇、Ansible、CI / CD、Ansible Tower、shell脚本以及Linux性能调优三大系统。

记一次血淋淋的MySQL崩溃修复案例

       本文提供了一次MySQL数据库崩溃后的修复案例，旨在帮助读者在遇到类似问题时能够迅速且有效地解决问题，无需担心“删库跑路”的风险。

       首先，问题描述指出，研究MySQL源代码、调试时，MySQL出现崩溃，并且损坏了InnoDB文件。幸运的是，此情况发生在调试环境下。通过查看日志，可以发现是innodb引擎出现问题。进一步分析日志，找到强制恢复的方法。在my.cnf配置文件中，需要添加`innodb_force_recovery=1`，然后重启MySQL。若该设置无效，可以尝试其他值，例如2-6。重启后，使用mysqldump或pma导出数据，执行修复操作，最后将`innodb_force_recovery`参数恢复默认值0。

       配置文件中的`innodb_force_recovery`参数负责影响整个InnoDB存储引擎的恢复状况。默认值为0，表示执行所有恢复操作，可能导致无法启动MySQL并记录错误日志。而设置值为1-6则允许执行更多操作，如对表进行select、create、drop操作，但不允许执行insert、update或delete操作。

       本文提供了三种修复MySQL崩溃的方案：

       第一种方法

       1. 建立一张新表，导入数据，删除原表，重启MySQL，重命名数据库，最后改回存储引擎。

       第二种方法

       1. 使用mysqldump将表格导出，再导入到InnoDB表中。备份导出数据脚本，并在需要时导入。

       第三种方法

       1. 配置my.cnf，设置`innodb_force_recovery`值，重启MySQL。

       2. 导出数据脚本，备份数据库。

       3. 删除关键文件（ib_logfile0、ib_logfile1、ibdata1），备份后删除。

       4. 重新配置my.cnf，删除或修改`innodb_force_recovery`值，重启MySQL。

       5. 将数据导入MySQL数据库。

       在执行任何操作时，请确保数据备份成功，并注意处理过程中可能出现的特定注意事项。通过本文提供的步骤和方法，读者可以更直观地了解如何处理MySQL崩溃问题，确保数据库的稳定运行。