读取分区表问题！

风吹草低现羊牛 2011-05-23 05:59:16

定位主分区后面的那个分区不知道怎么定位后读取分区信息，求解！！

我的方法是主分区大小加上63乘以512。SETFILEPOINT定位后读取出来的和WINHEX里查看的完全不对。

求解！！

...全文

88 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

风吹草低现羊牛 2011-05-24

打赏
举报

回复

[Quote=引用 1 楼 lactoferrin 的回复:]
你要分析分区表,先从硬盘开头读取mbr,得到分区表，然后就可以得到4个主分区的起始扇区号，如果某个主分区是扩展分区，再读取扩展分区的引导记录，又得到分区表，如此往下即可
[/Quote]

思路是对的，只是setfilepoint这个函数的参数我设置错了。最后面个应该是file_begin。。

问题已经解决。。进者有分

Lactoferrin 2011-05-23

打赏
举报

回复

你要分析分区表,先从硬盘开头读取mbr,得到分区表，然后就可以得到4个主分区的起始扇区号，如果某个主分区是扩展分区，再读取扩展分区的引导记录，又得到分区表，如此往下即可

为什么要学习这门课程？·新一代流式数据湖技术组件深入讲解，帮助你快速构造数据湖知识体系。·为构建湖仓一体架构提供底层技术支撑。本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解，原理+实战，帮助你快速上手使用数据湖技术。讲师介绍华为HCIP认证大数据高级工程师北京猎豹移动大数据技术专家中科院大数据研究院大数据技术专家51CTO企业IT学院优秀讲师电子工业出版社2022年度优秀作者出版书籍：《Flink入门与实战》、《大数据技术及架构图解实战派》。本课程提供配套课件、软件、试题、以及源码。课程内容介绍：1、什么是Apache Paimon2、Paimon的整体架构3、Paimon的核心特点4、Paimon支持的生态5、基于Flink SQL操作Paimon6、基于Flink DataStream API 操作Paimon7、Paimon中的内部表和外部表8、Paimon中的分区表和临时表9、Paimon中的Primary Key表(主键表)10、Paimon中的Append Only表(仅追加表)11、Changelog Producers原理及案例实战12、Merge Engines原理及案例实战13、Paimon中的Catalog详解14、Paimon中的Table详解15、Paimon之Hive Catalog的使用16、动态修改Paimon表属性17、查询Paimon系统表18、批量读取Paimon表19、流式读取Paimon表20、流式读取高级特性Consumer ID21、Paimon CDC数据摄取功能22、CDC之MySQL数据同步到Paimon23、CDC之Kafka数据同步到Paimon24、CDC高级特性之Schema模式演变25、CDC高级特性之计算列26、CDC高级特性之特殊的数据类型映射27、CDC高级特性之中文乱码28、Hive引擎集成Paimon29、在Hive中配置Paimon依赖30、在Hive中读写Paimon表31、在Hive中创建Paimon表32、Hive和Paimon数据类型映射关系33、Paimon底层文件基本概念34、Paimon底层文件布局35、Paimon底层文件操作详解36、Flink流式写入Paimon表过程分析37、读写性能优化详细分析38、Paimon中快照、分区、小文件的管理39、管理标签(自动管理+手工管理)40、管理Bucket(创建+删除+回滚)

在开发过程中使用spark去读取hive分区表的过程中（或者使用hive on spark、nodepad开发工具），部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题。2、自定义规则CheckPartitionTable类，实现Rule，将规则类追加至Optimizer.batches: Seq[Batch]中。1、自定义规则CheckPartitionTable类，实现Rule，通过以下方式创建SparkSession。...

datax读取hive表，hdfsreader读取空分区时，任务报错问题解决

问题描述在开发过程中使用spark去读取hive分区表的过程中(或者使用hive on spark、nodepad开发工具)，部分开发人员未注意添加分区属性过滤导致在执行过程中加载了全量数据，引起任务执行效率低、磁盘IO大量损耗等问题解决办法1、自定义规则CheckPartitionTable类，实现Ruletype ExtensionsBuilder = SparkSessionExtensio...

从hdfs分区表写入mysql分区字段为空背景结果解决官网的按分区读取背景需要从hdfs将以月为分区的分区表中的数据全量推到mysql中 分区表的分区字段在hdfs上为目录形式，也就是说其实是假字段我本来想的是把path直接配置成这种格式，datax会读取到分区目录，作为字段处理，毕竟我们直接从hive查询分区表，分区目录就是直接作为字段进行展示的。 "path": "/user/hive/warehouse/mytable01/* 28就是那个分区monthkey "column": [

64,683

社区成员

250,491

社区内容

发帖

与我相关

我的任务

c++ 技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

请不要发布与C++技术无关的贴子
请不要发布与技术无关的招聘、广告的帖子
请尽可能的描述清楚你的问题，如果涉及到代码请尽可能的格式化一下

试试用AI创作助手写篇文章吧

+ 用AI写文章