请教如何修改一个巨大的文件中的部分字符

[不会再变le]

一个巨大的文件，文件大小1T，要修改其第1000个字节到第2000个字节的数据，可能有增删改，然后保存。
有没有什么办法能快速实现，避免写这整个1T文件

[uouo88]

我觉得没办法绝对避免写文件，你终归要保存，但是可以使用lazy evaluation(缓式评估)策略，尽量减少读写文件的次数，在非必要保存不可的时候无视保存操作。具体原理解释起来也比较累，直接发个网上文章给你参照吧：
https://www.cnblogs.com/reasno/p/4830677.html

[gouyanfen]

引用 楼主 不会再变le 的回复:

一个巨大的文件，文件大小1T，要修改其第1000个字节到第2000个字节的数据，可能有增删改，然后保存。 有没有什么办法能快速实现，避免写这整个1T文件

办法不是没有，可以通过直接扇区读写来修改文件，不过这是个危险操作，弄错了麻烦了

[gouyanfen]

引用 2 楼 gouyanfen 的回复:

[quote=引用 楼主 不会再变le 的回复:] 一个巨大的文件，文件大小1T，要修改其第1000个字节到第2000个字节的数据，可能有增删改，然后保存。 有没有什么办法能快速实现，避免写这整个1T文件

办法不是没有，可以通过直接扇区读写来修改文件，不过这是个危险操作，弄错了麻烦了[/quote] 删改还好办，增加就不懂了

[xiaocha]

这么大的文件，要进行增删，说明当初的存储方案有问题，需要改进。

如果修改的次数不是很多的话，可以使用类似与日志文件系统的方法：
1 把每次修改保存到一个单独的文件
2 读取数据时，根据原始文件和每次修改的文件，恢复出数据（算法不复杂）

但是频繁修改后，读出的效率会越來越低，所以累积到一定修改次数，需要重新建立一个新的完整文件

[不会再变le]

我是题主，这个问题其实是，如何把一个巨大的文件加密，整体加密不太现实，太慢，能想到的就是挑选其中固定位字节的数据，和一个固定字符做^操作，得到加密后的数据

[chixiang1111]

我不懂这个，但我知道有一种方法，可以不一次读入全部文件，像mpq文件。

[双杯献酒]

改好说, 增删就麻烦了.

[轻箬笠]

直接通过文件系统进行操作应该可以。不过，光找你要改的位置就很麻烦，更别提改了之后，修改entry。
建议只考虑等长替换。这样用fseek定位，读取指定长度，再写入指定长度就可以了。
不过，我猜想，给文件搞个pe头上去会不会是一个不错的解决方案呢？因为pe头里面有偏移量，修改起来比较方便。

[轻箬笠]

想想感觉可以哦。楼主在文件头部或者尾部写个类似pe头的结构，然后指定偏移位置和大小，再把指定位置上的数据搞成随机字节流，把正确的字节流放到某个位置，再在结构体里面指定正确的字节流的位置和大小就可以了。

[赵4老师]

数据库满足楼主的需求。

[昆仑道长]

其实你需要一个索引文件，将巨大的文件逻辑上分块，要修改文件里面的哪些字节块，先通过索引找到，再fseek,fread,fwrite进行增删改，因为索引文件体积很小，可以一次性导入内存，在内存里面快速定位. 下面是我开源的一个PHP二进制日志文件工具类, 采用的就是这种思想，虽然和数据库比简直弱爆了，但是很实用. 请参考 熊猫日志，核心代码在 Log.php 文件中，读写的核心逻辑如下:

/*
     * 保存元数据
     * 魔幻数|主版本号|小版本号|总请求数|请求1,请求2,请求3,....
     */
    protected function saveMeta()
    {
        self::ensureDir(self::getDefaultSaveDir());
        $metaFile = self::getMetaFile();
        $lastItemCount = 0;
        if (file_exists($metaFile)) {
            $hFile = BinaryWriter::open($metaFile);
            if ($hFile) {
                $lastItemCount = $this->getMetaItemCount($hFile);
            }
            $szItem = self::getItemLength();
            $posOffset = self::getLastLogFilePos($hFile);
            if ($szItem) {
                $this->saveMetaItemCount($hFile,1+$lastItemCount);
                $this->saveMetaOneItem($hFile,$posOffset+1,$szItem+$posOffset);
            }
            BinaryWriter::close($hFile);
            self::$last_flush_begin = $posOffset+1;
            self::$last_flush_end = $szItem+$posOffset;
            self::$last_flush_bytes = $szItem;
        }else{
            $hFile = BinaryWriter::open($metaFile);
            $szItem = self::getItemLength()-1;
            $this->saveHeader($hFile);
            $this->saveMetaItemCount($hFile,1);
            $this->saveMetaOneItem($hFile,0,$szItem);
            BinaryWriter::close($hFile);
            self::$last_flush_begin = 0;
            self::$last_flush_end = $szItem;
            self::$last_flush_bytes = $szItem+1;
        }
    }

 /*
     * @func 读取保存的日志信息
     */
    public function decode($page_offset,$page_size=20,$asc=false,$date = ''){
        if($page_size <1){
            return [];
        }
        // 解析meta二进制文件
        $metaFile = $this->getMetaFile($date);
        if(!file_exists($metaFile)){
            return [];
        }
        $hFile = BinaryReader::open($metaFile);
        //获取总数目
        $totalItems = $this->getMetaItemCount($hFile);
        //获取真实数据所在偏移meta信息
        $pos = self::calcItemPos($totalItems,$page_offset,$page_size,$asc);
        if(is_null($pos)){
            return ['total'=>$totalItems,'records'=>[]];
        }
        $rawMeta = BinaryReader::getRawBytesFromFile($hFile,$pos->offset,$pos->size);
        $arrMetaItem = self::decodeMetaItem($rawMeta,$pos->size/8);
        BinaryReader::close($hFile);
        // 解析data二进制文件
        $logFile = $this->getLogFile($date);
        $hFile = BinaryReader::open($logFile);
        $items = [];
        foreach($arrMetaItem as $k=>$v){
            if($v['start']<0 || $v['end']<=0){
                continue;
            }
            $items[] = $this->decodeLogData($hFile,$v['start'],$v['end']);
        }
        BinaryReader::close($hFile);
        return ['total'=>$totalItems,'records'=>$items];
    }