1.7w+
社区成员
求救阿~~高手请进，关于WAL
希望高手不吝赐教：
考虑一个系统的DBMS和下层的storage system脱离，上层维护了write-ahead log(WAL),那么如何获取如下的信息：
1. transaction status
(pending or committed)
2. block ownership
(logical grouping of blocks into tables and indices)
3. block type
(whether a block is a data page or an index page)
4. block relationships
(the relationships between a table and a set of indices)
5. access patterns
(特定block或table的ACCESS time; 表或索引之间的Access correlation（一个query所访问的table或index）; Access count，一定时间内特定表被访问的次数，重要性)
本人不清楚WAL的格式，但是需要在下层获取以上的信息，希望高手可以用特定的一种数据管理系统（oracle,都可以），大致的说一下如何获取以上信息。
我觉得有些东西可以直接通过监视log文件而获取
ps：能给出特定DBMS的WAL格式就更好了，我自己也可以研究研究。。：）
考虑一个系统的DBMS和下层的storage system脱离，上层维护了write-ahead log(WAL),那么如何获取如下的信息：
1. transaction status
(pending or committed)
2. block ownership
(logical grouping of blocks into tables and indices)
3. block type
(whether a block is a data page or an index page)
4. block relationships
(the relationships between a table and a set of indices)
5. access patterns
(特定block或table的ACCESS time; 表或索引之间的Access correlation（一个query所访问的table或index）; Access count，一定时间内特定表被访问的次数，重要性)
本人不清楚WAL的格式，但是需要在下层获取以上的信息，希望高手可以用特定的一种数据管理系统（oracle,都可以），大致的说一下如何获取以上信息。
我觉得有些东西可以直接通过监视log文件而获取
ps：能给出特定DBMS的WAL格式就更好了，我自己也可以研究研究。。：）
...全文
当前发帖距今超过3年，不再开放新的回复
发表回复
davidken2001 2006-12-25
还有，可不可以大概估算一下runtime overhead 和 complexity。
PostgreSQL WAL日志解析工具: wal2json 工具软件，基于 https://blog.csdn.net/Kafka_yx/article/details/103132469 生成的dll
PostgreSQL WAL解析：构建WAL记录准备 以heap_insert为例，简述WAL的插入过程。 在构建WAL日志记录的过程中主要涉及2个数据变量：static XLogRecData *rdatas数组和static registered_buffer *registered_buffers数组。这两个数组分别用来保存WAL数据和...
SQLite中的WAL机制详细介绍 主要介绍了SQLite中的WAL机制详细介绍,本文讲解了什么是WAL、WAL如何工作、WAL的优点与缺点、WAL引入的兼容性问题、WAL引入的性能问题等内容,需要的朋友可以参考下
Internals Of PostgreSQL Wal.pdf postgresql大神 代码级讲述WAll文件的构成、产生、使用 是学习postgresql不可缺少的环节 WAL就是预先写入日志，用于数据保全的 跟Oracle的REDO文件是一种意思
一种更为高效的WAL的实现方式 文章目录前言高效WAL的实现方式高效WAL实现过程图 前言 在分布式存储系统的服务一致性实现中，WAL是其中经常被使用到的一个关键的数据文件。它可以有效地记录每一次的系统变更记录，而且还能够确保系统的异常退出...
wal-listener：PostgreSQL WAL侦听器-源码 WAL侦听器 一种帮助实现事件驱动的体系结构的服务。 为了保持系统中数据的一致性，我们将使用事务消息传递-在具有域模型更改的单个事务中发布事件。 该服务允许您使用其逻辑解码功能订阅PostgreSQL数据库中的更改...
PostgresWALReader：测试程序以读取Postgresql WAL日志-源码 PostgreSQL WAL阅读器 **仍在进行中** 这是一个测试应用程序，可以使用wal2json或test_decoder阅读器读取和处理Postresql WAL日志。 这个想法是为记录处理速度生成性能统计信息，并生成一些有关我们在复制流中接收...
Write-Ahead Log（WAL）的工作原理 当老的WAL已经被apply进元数据db之后，我们会用更新commitId来表明当前最新的transaction，理论上来说低于这个commitId的WAL已经可以被清除purge出去了。这个过程我们可以理解为checkpoint过程，当前db+WAL变更=新的...
Postgresql清理WAL日志 WAL是Write Ahead Log的简写，和oracle的redo日志类似，存放在$PGDATA/pg_xlog中，10版本以后在$PGDATA/pg_wal目录. WAL相关的介绍可见WAL(Write Ahead Logging)介绍 如果开启了归档，在目录archive_status下会有...
xlog、wal 分析工具 wal2json 64-bit (1 row) 下载安装 # su - postgres # yum install wal2json10 # repoquery -ql wal2json10.x86_64 /usr/pgsql-10/doc/extension/README-wal2json.md /usr/pgsql-10/lib/wal2json.so # vi /var/lib/pgsql/10/...
sqlite的wal模式 从3.7.0版本(2010-07-21)开始，可以使用一个新的“写前日志”选项(以下称为“WAL”)。 wal模式优点 大部分情况下，wal模式要比其他模式快很多； wal提供了更多的并发性，读时不会阻塞写，写时不会阻塞读； 使用...
Hbase WAL 问题：现在测试平台hbase升级到hbase1.3，在测试过程中，发现吞吐上不去，也有时延较大的情况。hbase很多参数是已经调优...2019-05-09 09:51:20,283 INFO org.apache.hadoop.hbase.regionserver.wal.FSHLog: Slow s...
数据库 wal 模式 分析 要转换为WAL模式，请使用以下编译指示： PRAGMA journal_mode = WAL; journal_mode pragma返回一个字符串，它是新的日志模式。成功时，pragma将返回字符串“ wal ”。如果无法完成到WAL的转换（例如，...
pgsql的wal log WAL write ahead log: 预写式日志，也被称为xlog 顾明思义就是写在前面的日志,是事务和数据库故障的一个保护。任何试图修改数据库数据的操作都会写一份日志到磁盘。这个日志在PG中叫XLOG，所有的日志都会写在$...
max_wal_size、min_wal_size、wal_keep_segments参数详解 控制WAL日志的数量由这三个参数控制： max_wal_size min_wal_size wal_keep_segments 而到PG13版本wal_keep_segments改为了wal_keep_size来控制。 假设pg_wal下的文件为： 000000A7000000040000005A 000000A...
