标准c++如何将map里数据高速写入txt文本

2008-12-20 07:02:21 826 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

LangChain性能优化：用C++扩展加速本地大模型推理与RAG流程在构建本地大模型应用时，性能瓶颈往往出现在计算密集的推理和检索环节。Python因其解释器开销和全局解释器锁（GIL）的限制，在处理大规模矩阵运算、长上下文管理和高频字符串操作时可能成为延迟的主要来源。通过将核心计算模块用C++重写并集成到Python生态中，可以显著降低延迟、提升吞吐量，并更充分地利用硬件资源。这种混合编程模式尤其适用于对实时性要求高的场景，如智能问答、文档摘要和交互式Agent。本文聚焦于**LangChain**框架，探讨如何通过C++扩展优化其**RAG（检索增强生成）** 流程中的阅读详情

		map<string,string>::const_iterator map_it=map_new.begin() ;

			while(map_it!=map_new.end())

			{

				out<<map_it->second<<"\t"<< map_it->first<<endl ;

				map_it++;

			}

在map里有十万条数据，我想把它写入记事本，按照上面的方法，太慢了！我应该怎么写，才能提高速度？请高手指点

...全文

瑞萨Motor Workbench通信库集成与Map文件生成全攻略在嵌入式系统开发与电机控制调试中，实时监控关键变量（如转速、电流）是算法验证与参数整定的核心需求。其原理在于通过编译链接阶段生成的Map文件（链接映射文件），建立程序变量与内存地址的映射关系，再结合专用的通信库，在微控制器（MCU）与上位机之间建立高速数据通道，实现数据的实时搬运与可视化。这项技术的价值在于，它将传统的离线仿真与静态调试，升级为在线、动态的观测手段，极大提升了开发效率，尤其在PID参数整定、动态响应分析和故障诊断等场景中不可或缺。本文聚焦于瑞萨（Renesas）RX、RL78、RA系列MCU 阅读详情

knowxy

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

Aaronico 2008-12-22

打赏
举报

先读出来，再写入文件

SearchLife 2008-12-22

打赏
举报

knowxy 2008-12-22

打赏
举报

小弟刚入门；麻烦前辈给段标准代码，学习一下！

realyigo 2008-12-22

打赏
举报

给你一段强劲的代码, 它将会使你感觉像在飞.
HANDLE hFile=CreateFileA("out2.txt",GENERIC_WRITE|GENERIC_READ,0,NULL,CREATE_ALWAYS,FILE_ATTRIBUTE_NORMAL,NULL);
HANDLE hFileMap=CreateFileMappingA(hFile,NULL,PAGE_READWRITE,0,1024*1024*1024,NULL);
PVOID pvFile=MapViewOfFile(hFileMap,FILE_MAP_WRITE,0,0,0);
char * curIndex=(char *)pvFile;
for(map<string,string>::iterator iter=strMap.begin();iter!=strMap.end();iter++)
{
strcpy(curIndex,iter->second.c_str());
curIndex+=iter->second.length();
*curIndex='\t';
curIndex++;
strcpy(curIndex,iter->first.c_str());
curIndex+=iter->first.length();
*curIndex='\r';
curIndex++;
*curIndex='\n';
curIndex++;
}
int fileSize=curIndex-pvFile;
UnmapViewOfFile(pvFile);
CloseHandle(hFileMap);
SetFilePointer(hFile,fileSize,0,FILE_BEGIN);
SetEndOfFile(hFile);
CloseHandle(hFile);
它将strMap输出到out2.txt
需要include windows.h

qqlpp 2008-12-22

打赏
举报

ding

realyigo 2008-12-22

打赏
举报

标准c++只能这样了.
工业级的大文件操作都是直接内存映射.

逸学堂 2008-12-22

打赏
举报

我做了如下实现
[BanUBB][code=C++]
setUp();
map<string,string>::const_iterator map_it=mus.begin() ;
while(map_it != mus.end())
{
//ifs<<map_it->second<<"\t"<< map_it->first<<"\n" ;
ifs<<map_it->second<<"\t"<< map_it->first<<endl ;
map_it++;
}
tearDown();
[/code][/BanUBB]
另外还有
[BanUBB][code=C++]
setUp();
map<string,string>::const_iterator map_it=mus.begin() ;
string str;
str.reserve(1024*1024*10); // 预留10M空间，相对于开辟大内存
while(map_it != mus.end())
{
str+=map_it->second+"\t"+map_it->first+"\n";
map_it++;
}
ifs << str;
tearDown();
[/code][/BanUBB]
他们的性能如下
//ifs<<map_it->second<<"\t"<< map_it->first<<"\n" ;
这种方式性能
[0.385981 s]

ifs<<map_it->second<<"\t"<< map_it->first<<endl ;
这种方式性能
[2.71995 s]
由上可见endl操作非常影响性能，所以尽量避免使用。

第三种，类似开辟大内存方式性能
[1.97383 s]

以上测试时linux是的虚拟机系统

bobye1230 2008-12-22

打赏
举报

顶3楼。

逸学堂 2008-12-22

打赏
举报

使用boost的Serialization测试一下
简单代码
[BanUBB]



#include <fstream> 

#include <boost/serialization/string.hpp>

#include <boost/serialization/map.hpp>

#include <boost/archive/text_oarchive.hpp>

#include <boost/archive/text_iarchive.hpp>

#include <boost/lexical_cast.hpp>

#include <sys/time.h>



using namespace std;



struct timeval begin;

 

void setUp()

{

    gettimeofday(&begin,0);

}

void tearDown()

{

    struct timeval end;

    double elapsed;

 

    gettimeofday(&end,0);

    elapsed=(end.tv_sec-begin.tv_sec)+(end.tv_usec-begin.tv_usec)/1000000.0;

    std::cerr<<" ["<<elapsed<<" s] " << endl;

}



typedef map<string, string> mymap;

// 写入168个‘a’,csdn不让发这么多的a啊

string strTest("aaaaa...");



main ( int argc, char *argv[] )

{

    string filepath = "test.ini";

 

    std::ofstream ifs((char *)(filepath.c_str()));

    boost::archive::text_oarchive oa(ifs);

 

    mymap mus;

    // map中写入20w数据，每个value为168个字节。

    for(int i = 0; i < 200000; ++i)

    {

        mus.insert(make_pair(boost::lexical_cast<string>(i),strTest));

    }

 

    setUp(); // 开始计时

    oa & mus; // 写入数据

    tearDown(); // 显示计时

    return 0

}

[/BanUBB]
测试三次的性能如下
[0.47578 s]
[0.472901 s]
[0.473222 s]

不过这种方法，需要你自己编译boost::serialization库，比较适合读取写入文件数据。
不知道性能能否满足你的需求，如果使用binary模式存储可能速度会更快一些。
以上数据是我在虚拟机下的测试结果。

Gary@Tokyo 2008-12-22

打赏
举报

mark

knowxy 2008-12-22

打赏
举报

      map<string,string>::const_iterator map_it=map_new.begin() ;

      string str="";

            while(map_it!=map_new.end())

            {

                str+=map_it->second+"\t"+ map_it->first;

                map_it++;

            }

      out.write(str.c_str(),str.length());

我这样，速度快了点。

请高人帮我实现 3楼的方法！

haosuai 2008-12-22