大模型文件读取并显示

2013-05-20 12:12:39 363 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

将大模型输出答案清洗数学公式格式为markdown文件将LaTeX的块级公式标识符[...]替换为Markdown的$...，行内公式标识符$...$替换为Markdown的.........$。以下代码可以实现上述功能。大模型输出的答案中，通常公式格式为latex格式，无法直接在markdown中显示。是一个标志（flag），用于修改正则表达式的行为。）匹配任何字符，包括换行符（在 Python 的。阅读详情

针对较大的工程模型文件（200M以上），读取之后需要存储有关的数据结构并进行显示。但由于生成的数据较多，结果超出了可用内存（bad_alloc）。请问应该如何处理这个问题？能否以临时文件的方式保存生成数据结构到外存，而又能顺利显示模型？如果可以，需要涉及哪些技术？希望大家能够提供思路，谢谢！

...全文

JMeter与大模型融合应用之JMeter日志自动检测错误并机器人发送钉钉信息我们通过JMeter、钉钉和大模型的技术整合可以开发符合自己业务场景的需求，而上述内容只是众多场景中的1个，旨在让打开大家的思路创建更好的业务场景。如果需要应用深入，部分代码逻辑可根据自己的业务需求进行调整。阅读详情

sunmooner

C++ 语言 65,214 成员 250,514 内容

+ 关注 + 加入社区

切换为时间正序

lm_whales 2013-05-21

打赏
举报

200M也算不小了，但是也不是很大，除非你的处理很占用内存，否则完全可以直接申请200M 内存，如果编译器开不了，可以直接调用API开出来。

有新工作否 2013-05-21

打赏
举报

内存不够就添加内存呗，要是不买，右击"计算机"->"属性"->"高级系统设置"->"高级"->"性能"->"设置"->"高级"->"虚拟内存"->"更改"，弄一个虚拟内存，就是有点慢，其他还好啦

sunmooner 2013-05-21

打赏
举报

引用 9 楼 ri_aje 的回复:

ps. 这个 32位 6G 内存怎么算出来的，32 位支持最大寻址空间为 4g，这 6g 是怎么来的？如果是说机器的物理内存是 6g 的话，那我想这 6g 里有 2g 系统压根就从来没用过，要是这样的话，升级成 64 位，先把这 2g 利用起来是最靠谱的方案了。

是插着6g的内存，但用了32位的系统，所以可用内存只有2.5g... 只是感觉如果程序只能用在64位系统上跑，比较受限

引用 10 楼 supermegaboy 的回复:

你误会了，内存映射文件并不是专用于大文件处理的，虽然它可以很好地处理大文件。当你遇到内存不够的时候，可以通过内存映射文件获取大量空间，当然比内存慢多了。

嗯，谢谢指教。我看了一下windows核心编程，里面写道： “与虚拟内存一样，内存映射文件可以用来保留一个地址空间的区域，并将物理存储器提交给该区域。它们之间的差别是，物理存储器来自一个已经位于磁盘上的文件，而不是系统的页文件。一旦该文件被映射，就可以访问它，就像整个文件已经加载内存一样。” 谢谢各位的回复，我再考虑一下吧

飞天御剑流 2013-05-20

打赏
举报

引用楼主 sunmooner0 的回复:

针对较大的工程模型文件（200M以上），读取之后需要存储有关的数据结构并进行显示。但由于生成的数据较多，结果超出了可用内存（bad_alloc）。请问应该如何处理这个问题？能否以临时文件的方式保存生成数据结构到外存，而又能顺利显示模型？如果可以，需要涉及哪些技术？希望大家能够提供思路，谢谢！

可使用内存映射文件。

ri_aje 2013-05-20

打赏
举报

楼主有没有算过，导致 bad_alloc 的那个文件，相关的数据结构到底需要占用多大的内存？

代码老猿 2013-05-20

打赏
举报

可以的。把你的数据整理成便于显示的数据放在文件里。然后根据显示需要来交换数据。还有就是可以自己建虚存系统。很多图形软件如PhotoShop就是这样做的。

飞天御剑流 2013-05-20

打赏
举报

引用 7 楼 sunmooner0 的回复:

[quote=引用 3 楼 supermegaboy 的回复:] 可使用内存映射文件。

谢谢回复。请问使用内存映射文件跟虚拟内存的区别是什么呢？查了一下，内存映射文件好像是读取特别大的文件（超出内存大小）的时候用的？现在的问题其实不是读取文件的问题，而是将信息读取之后，要利用所读取的信息生成大量的附加数据，而这部分数据占用内存过大导致的，不知道对这个问题是否有帮助？[/quote] 你误会了，内存映射文件并不是专用于大文件处理的，虽然它可以很好地处理大文件。当你遇到内存不够的时候，可以通过内存映射文件获取大量空间，当然比内存慢多了。

ri_aje 2013-05-20

打赏
举报

引用 6 楼 sunmooner0 的回复:

[quote=引用 2 楼 ri_aje 的回复:] 楼主有没有算过，导致 bad_alloc 的那个文件，相关的数据结构到底需要占用多大的内存？

如果是调用60多M的模型，要用到900M的内存。200M模型，根据查看资源管理器，程序大概在1.2G的时候死掉。应该是物理内存资源耗尽导致的。机器win 7 32位，6G，可用内存2.5G[/quote] 个人感觉增大内存是最好的解决方案，无论映射文件，还是虚拟内存，都是万变不离其宗的，即用磁盘空间模拟内存空间。这样的话，即便这些技术能够暂时解决内存分配的问题，估计程序运行起来后过度的磁盘读写还是会使其速度慢的无法忍受，程序基本还是没法用；而且根据我的经验，一旦硬盘忙起来的话，不光是你一个程序没反应的问题，基本上整个系统都琐死了，想 kill 程序都很费劲。 ps. 这个 32位 6G 内存怎么算出来的，32 位支持最大寻址空间为 4g，这 6g 是怎么来的？如果是说机器的物理内存是 6g 的话，那我想这 6g 里有 2g 系统压根就从来没用过，要是这样的话，升级成 64 位，先把这 2g 利用起来是最靠谱的方案了。

代码老猿 2013-05-20

打赏
举报

引用 5 楼 sunmooner0 的回复:

[quote=引用 1 楼 u010750906 的回复:] 可以的。把你的数据整理成便于显示的数据放在文件里。然后根据显示需要来交换数据。还有就是可以自己建虚存系统。很多图形软件如PhotoShop就是这样做的。

感谢回复！虚存系统的建立复杂吗？有没有这方面的学习案例或者资料可以推荐呢？[/quote] 开源的例子不知道，你可以找找．原理很简单，做好了可能不容易．自己的虚存系统就是用多个文件来保存你的内存数据．将暂时不用的数据放到文件里，要用的时候倒入内存．

sunmooner 2013-05-20

打赏
举报

引用 3 楼 supermegaboy 的回复:

可使用内存映射文件。

谢谢回复。请问使用内存映射文件跟虚拟内存的区别是什么呢？查了一下，内存映射文件好像是读取特别大的文件（超出内存大小）的时候用的？现在的问题其实不是读取文件的问题，而是将信息读取之后，要利用所读取的信息生成大量的附加数据，而这部分数据占用内存过大导致的，不知道对这个问题是否有帮助？

sunmooner 2013-05-20

打赏
举报

引用 2 楼 ri_aje 的回复:

楼主有没有算过，导致 bad_alloc 的那个文件，相关的数据结构到底需要占用多大的内存？

如果是调用60多M的模型，要用到900M的内存。200M模型，根据查看资源管理器，程序大概在1.2G的时候死掉。应该是物理内存资源耗尽导致的。机器win 7 32位，6G，可用内存2.5G

sunmooner 2013-05-20

打赏
举报

引用 1 楼 u010750906 的回复:

可以的。把你的数据整理成便于显示的数据放在文件里。然后根据显示需要来交换数据。还有就是可以自己建虚存系统。很多图形软件如PhotoShop就是这样做的。

感谢回复！虚存系统的建立复杂吗？有没有这方面的学习案例或者资料可以推荐呢？

赵4老师 2013-05-20

打赏
举报

引用 3 楼 supermegaboy 的回复:

[quote=引用楼主 sunmooner0 的回复:] 针对较大的工程模型文件（200M以上），读取之后需要存储有关的数据结构并进行显示。但由于生成的数据较多，结果超出了可用内存（bad_alloc）。请问应该如何处理这个问题？能否以临时文件的方式保存生成数据结构到外存，而又能顺利显示模型？如果可以，需要涉及哪些技术？希望大家能够提供思路，谢谢！

可使用内存映射文件。[/quote] File Mapping Functions The following functions are used with file mapping. CreateFileMapping FlushViewOfFile MapViewOfFile MapViewOfFileEx MapViewOfFileVlm OpenFileMapping UnmapViewOfFile UnmapViewOfFileVlm

大模型文件读取并显示

相关推荐