【Linux】基础IO --- 内核级和用户级缓冲区、磁盘结构、磁盘的分治管理、block group块组剖析…

C/C++领域新星创作者

2023-01-30 09:58:59

https://blog.csdn.net/erridjsis/article/details/128766819

...全文

147 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

ClickHouse是一个用于OLAP的数据分析引擎，由俄罗斯搜索巨头Yandex公司开源。1、可支持PB级超大容量的数据库管理系统。2、基于SQL语句，使用成本低。 3、超亿级数据量分析的秒级响应，计算性能横向扩展。4、海量数据即查即用。5、提供数据的预聚合能力，进一步提升数据查询的效率。6、列式存储，数据压缩，降低磁盘IO和网络IO，提升计算性能，节约70%物理存储。7、支持副本，实现跨机房的数据容灾。课程基于ClickHouse的**的20.x版本，从理论到实践，由浅入深详解ClickHouse的原理和使用。1. 本课程从零开始，有Linux操作系统和SQL使用经验即可。2. 课程以案例驱动，包含大量的实践案例。3. 将ClickHouse与MySQL、Kafka、HDFS等第三方系统集成，增强ClickHouse的功能。4. 课程覆盖面广，既有基础功能的详细讲解，也包含了集群部署、查询优化、运维管理等高级内容。

带你理解内核级和用户级缓冲区、磁盘与ext系列文件系统、inode与软硬连接

用户级缓冲区存在于FILE结构体中，显示器行缓冲，磁盘全缓冲。内核缓冲区刷新策略由操作系统根据内存等情况自行控制。文件系统inode存放文件属性，Data block存放文件数据。根据inode编号查找文件，inode结构体中有block[15]数据块数组，前12个空间指向数据块，后三个是三级数据块索引。静态库：ar -rc对多个.o进行打包。编译使用时只需指明头文件和库函数的路径和静态库名称。动态库：-shared生成.o文件，gcc -fPIC。使用动态库需指明运行时库路径。

Re： MySQL 高可用工具 DRBD 实战部署详解 ========================================# DRBD 是什么（用三句话总结）目的：类似于 rsync + inotify 数据目录（/data）变化时，实现数据同步功能：类似于本地磁盘阵列 raid-1，保持磁盘或者分区的一致性，但最终的目的是（/data）数据目录的一致性。原理：类似于MySQL的主从复制，一份写在磁盘中，一份写在二进制日志中；DRBD原理也是一份写在磁盘中，另一份通过DRBD软件，经过tcp/ip协议，基于block变化，传输到远程磁盘中做记录。 # DRBD 的功能 Distributed Replicated Block Divice（缩略：DRBD）（分布式复制块设备）基于高可用 HA 服务器之间的数据同步解决方案基于块设备在不同的高可用服务器之间同步和镜像数据的软件，通过它可以实现在网络中的两台服务器之间基于“块”（block）设备级别的实时或异步镜像或同步复制（【原理】：类似MySQL主从复制） # DRBD 的目的类似于DRBD ≈（rsync + inotify）的架构：单inotify基于文件系统‘上层’，当文件系统中有数据发生变化，就调用 rsync 服务，将文件系统中的文件同步到备库。但是DRBD是基于文件系统底层（主要区别），即 block 块级别的更‘底层’，而 inotify是在文件系统之上的实际物理文件（文件复制），因此DRBD效率更高（类似克隆方式 GHOST 克隆软件）！相对而言：（rsync + inotify）工作原理（效率低...）... # DRBD 的应用 heartbeat + DRBD + nfs/mfs/gfs  下章演示... heartbeat + DRBD + mysql  本章演示... heartbeat + DRBD + oracle  甚至放弃 Oracle 原厂 RAC + DataGuard 等标配 HA方案

Linux/Unix社区

22,982

社区成员

74,511

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章