请教如何修改一个巨大的文件中的部分字符

2019-09-02 05:19:28 332 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

C语言：在文件的指定位置实现局部修改，而无需重写文件的其他部分 C语言：在文件的指定位置实现局部修改，而无需重写文件的其他部分前言（可跳过）具体需求解决思路解决代码实验结果反思与总结（可跳过）其他需求的实现前言（可跳过）在进行大型文件的读写操作时，若采用读打开文件a，再将“a中修改删除位置之前的内容＋修改删除的内容＋a中修改删除位置之后的内容”保存到文件b，关闭并删除文件a，将文件b改名为与文件a同名的简单办法，即使结果同修改指定位置的数据的方式相同，但程... 阅读详情

一个巨大的文件，文件大小1T，要修改其第1000个字节到第2000个字节的数据，可能有增删改，然后保存。
有没有什么办法能快速实现，避免写这整个1T文件

...全文

5分钟实战：用IDA Pro与x32dbg逆向修改Windows弹窗字符串逆向工程是一种通过分析软件二进制代码来理解其内部逻辑与实现的技术。其核心原理在于将机器码反汇编为可读的指令，并借助调试器动态跟踪程序执行过程，从而揭示软件的行为与数据流。这项技术的价值在于安全分析、漏洞挖掘、软件兼容性调试及遗留系统维护等多个领域。在应用场景上，常涉及对可执行文件的资源修改、逻辑绕过或行为分析。本文以修改Windows弹窗程序中的字符串资源为例，具体演示了如何运用静态分析工具IDA Pro定位目标字符串，并结合动态调试器x32dbg完成内存修改与文件补丁，实现快速、精准的逆向修改操作。阅读详情

不会再变le

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

昆仑道长 2019-09-04

打赏
举报

其实你需要一个索引文件，将巨大的文件逻辑上分块，要修改文件里面的哪些字节块，先通过索引找到，再fseek,fread,fwrite进行增删改，因为索引文件体积很小，可以一次性导入内存，在内存里面快速定位. 下面是我开源的一个PHP二进制日志文件工具类, 采用的就是这种思想，虽然和数据库比简直弱爆了，但是很实用. 请参考熊猫日志，核心代码在 Log.php 文件中，读写的核心逻辑如下:


/*
     * 保存元数据
     * 魔幻数|主版本号|小版本号|总请求数|请求1,请求2,请求3,....
     */
    protected function saveMeta()
    {
        self::ensureDir(self::getDefaultSaveDir());
        $metaFile = self::getMetaFile();
        $lastItemCount = 0;
        if (file_exists($metaFile)) {
            $hFile = BinaryWriter::open($metaFile);
            if ($hFile) {
                $lastItemCount = $this->getMetaItemCount($hFile);
            }
            $szItem = self::getItemLength();
            $posOffset = self::getLastLogFilePos($hFile);
            if ($szItem) {
                $this->saveMetaItemCount($hFile,1+$lastItemCount);
                $this->saveMetaOneItem($hFile,$posOffset+1,$szItem+$posOffset);
            }
            BinaryWriter::close($hFile);
            self::$last_flush_begin = $posOffset+1;
            self::$last_flush_end = $szItem+$posOffset;
            self::$last_flush_bytes = $szItem;
        }else{
            $hFile = BinaryWriter::open($metaFile);
            $szItem = self::getItemLength()-1;
            $this->saveHeader($hFile);
            $this->saveMetaItemCount($hFile,1);
            $this->saveMetaOneItem($hFile,0,$szItem);
            BinaryWriter::close($hFile);
            self::$last_flush_begin = 0;
            self::$last_flush_end = $szItem;
            self::$last_flush_bytes = $szItem+1;
        }
    }

 /*
     * @func 读取保存的日志信息
     */
    public function decode($page_offset,$page_size=20,$asc=false,$date = ''){
        if($page_size <1){
            return [];
        }
        // 解析meta二进制文件
        $metaFile = $this->getMetaFile($date);
        if(!file_exists($metaFile)){
            return [];
        }
        $hFile = BinaryReader::open($metaFile);
        //获取总数目
        $totalItems = $this->getMetaItemCount($hFile);
        //获取真实数据所在偏移meta信息
        $pos = self::calcItemPos($totalItems,$page_offset,$page_size,$asc);
        if(is_null($pos)){
            return ['total'=>$totalItems,'records'=>[]];
        }
        $rawMeta = BinaryReader::getRawBytesFromFile($hFile,$pos->offset,$pos->size);
        $arrMetaItem = self::decodeMetaItem($rawMeta,$pos->size/8);
        BinaryReader::close($hFile);
        // 解析data二进制文件
        $logFile = $this->getLogFile($date);
        $hFile = BinaryReader::open($logFile);
        $items = [];
        foreach($arrMetaItem as $k=>$v){
            if($v['start']<0 || $v['end']<=0){
                continue;
            }
            $items[] = $this->decodeLogData($hFile,$v['start'],$v['end']);
        }
        BinaryReader::close($hFile);
        return ['total'=>$totalItems,'records'=>$items];
    }

赵4老师 2019-09-04

打赏
举报

数据库满足楼主的需求。

轻箬笠 2019-09-04

打赏
举报

想想感觉可以哦。楼主在文件头部或者尾部写个类似pe头的结构，然后指定偏移位置和大小，再把指定位置上的数据搞成随机字节流，把正确的字节流放到某个位置，再在结构体里面指定正确的字节流的位置和大小就可以了。

轻箬笠 2019-09-04

打赏
举报

直接通过文件系统进行操作应该可以。不过，光找你要改的位置就很麻烦，更别提改了之后，修改entry。
建议只考虑等长替换。这样用fseek定位，读取指定长度，再写入指定长度就可以了。
不过，我猜想，给文件搞个pe头上去会不会是一个不错的解决方案呢？因为pe头里面有偏移量，修改起来比较方便。

双杯献酒 2019-09-03

打赏
举报

改好说, 增删就麻烦了.

chixiang1111 2019-09-03

打赏
举报

我不懂这个，但我知道有一种方法，可以不一次读入全部文件，像mpq文件。

不会再变le 2019-09-03

打赏
举报

我是题主，这个问题其实是，如何把一个巨大的文件加密，整体加密不太现实，太慢，能想到的就是挑选其中固定位字节的数据，和一个固定字符做^操作，得到加密后的数据

xiaocha 2019-09-02

打赏
举报

这么大的文件，要进行增删，说明当初的存储方案有问题，需要改进。

如果修改的次数不是很多的话，可以使用类似与日志文件系统的方法：
1 把每次修改保存到一个单独的文件
2 读取数据时，根据原始文件和每次修改的文件，恢复出数据（算法不复杂）

但是频繁修改后，读出的效率会越來越低，所以累积到一定修改次数，需要重新建立一个新的完整文件

gouyanfen 2019-09-02

打赏
举报

引用 2 楼 gouyanfen 的回复:

[quote=引用楼主不会再变le 的回复:] 一个巨大的文件，文件大小1T，要修改其第1000个字节到第2000个字节的数据，可能有增删改，然后保存。有没有什么办法能快速实现，避免写这整个1T文件

办法不是没有，可以通过直接扇区读写来修改文件，不过这是个危险操作，弄错了麻烦了[/quote] 删改还好办，增加就不懂了

gouyanfen 2019-09-02

打赏
举报

引用楼主不会再变le 的回复:

一个巨大的文件，文件大小1T，要修改其第1000个字节到第2000个字节的数据，可能有增删改，然后保存。有没有什么办法能快速实现，避免写这整个1T文件

办法不是没有，可以通过直接扇区读写来修改文件，不过这是个危险操作，弄错了麻烦了

uouo88 2019-09-02

打赏
举报

我觉得没办法绝对避免写文件，你终归要保存，但是可以使用lazy evaluation(缓式评估)策略，尽量减少读写文件的次数，在非必要保存不可的时候无视保存操作。具体原理解释起来也比较累，直接发个网上文章给你参照吧：
https://www.cnblogs.com/reasno/p/4830677.html

请教如何修改一个巨大的文件中的部分字符

相关推荐