java 数据采集

Shock_W 2016-05-16 07:08:04

文件保存大概20W的数据量，数据格式如下
#briup1775|037:wKgB1660A|7|1285376779|123.40.14.177 ---代表上线信息（标识符 7）
#|037:wKgB1660A|8|1285376779|176.25.20.110 --代表下线信息（标识符 8）

然后我用流对文件进行读取，如果是上线信息，保存在一个集合1中，
如果是下线信息，那就遍历集合1中的上线信息，通过ip这个来匹配，然后用一个集合2保存上线and下线信息，把这条上线信息
从集合1中remove掉，那么用什么集合比较好呢？求大神指教

...全文

162 2 打赏收藏转发到动态举报

写回复

用AI写文章

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

skgary 2016-05-17

打赏
举报

集合A用hashmap或hashtable，ip为key 第二个arraylist，因为你只增加，不删除

rickylin86 2016-05-17

打赏
举报

由于数据量比较大,可以考虑运用多线程处理. 主要思路应该是先把上线信息集合还有下线信息集合都线数据单独归类出来.(多线程+正则+java.util.stream.Stream)这样来读取数据快些. 然后判断两个集合. 对于多现在集合考虑使用java.util.concurrent.ConcurrentHashMap<K,V>

内容覆盖大模型基础原理、预训练微调、分布式训练优化、RAG系统搭建、Agent开发、推理部署、多模态落地、prompt工程、安全合规、垂直行业定制、MLOps全生命周期管理等全链路技术点，兼具理论深度与实战可操作性，助力开发者系统掌握大模型从技术研发到商业化落地的全流程核心能力。

内容概要：本文围绕天空图像与光伏发电预测展开研究，结合Python编程实现相关算法，旨在利用天空图像数据对光伏发电功率进行高效、准确的预测。研究内容涵盖图像采集与预处理、云层运动分析、辐照度估算以及光伏出力预测模型的构建，通过机器学习或深度学习方法建立从视觉信息到发电量之间的映射关系，提升光伏发电系统的可观测性与调度能力。文中提供了完整的代码实现流程，便于读者复现和优化算法。; 适合人群：具备一定Python编程基础和机器学习知识，从事新能源、电力系统预测或图像处理方向的科研人员及工程技术人员，尤其适合研究生及以上学历或工作1-3年的相关领域从业者。; 使用场景及目标：①应用于太阳能电站的短期发电功率预测，提高电网调度精度与可再生能源消纳能力；②作为科研项目的技术参考，支撑基于视觉的环境感知与能源预测交叉领域的算法开发与验证。; 阅读建议：建议读者结合实际气象数据与图像样本进行代码调试与模型训练，重点关注图像特征提取与时间序列预测模块的衔接，并尝试引入更先进的网络结构（如Transformer、CNN-LSTM等）以进一步提升预测性能。

内容概要：本文围绕“【EI复现】考虑灵活性的数据中心微网两阶段鲁棒规划方法（Matlab代码实现）”展开，提出了一种针对数据中心微电网的两阶段鲁棒优化规划模型，重点考虑系统在运行过程中面临的灵活性需求与不确定性因素。该方法通过构建第一阶段的投资决策与第二阶段的运行调整机制，有效应对源荷双重不确定性，提升微网系统的可靠性与经济性。文中采用鲁棒优化理论处理不确定性，并结合Matlab编程实现完整的模型求解流程，提供了可复现的算法代码，便于科研人员验证与拓展。该研究对于高比例可再生能源接入背景下的数据中心能源系统规划具有重要参考价值。; 适合人群：具备一定电力系统、优化理论及Matlab编程基础，从事微电网、综合能源系统、鲁棒优化等相关领域研究的研究生、科研人员及工程技术人员（尤其适合有1-3年科研经验者）；; 使用场景及目标：① 掌握两阶段鲁棒优化在微网规划中的建模思路与数学表达；② 学习如何将灵活性指标融入能源系统规划模型；③ 复现EI级别高水平论文的核心算法，提升科研能力与论文写作水平；④ 为后续开展数据中心、智能微网、不确定性优化等方向的研究提供技术积累与代码基础；阅读建议：建议读者结合文中提供的Matlab代码逐行分析，理解两阶段鲁棒优化的建模技巧与求解流程，重点关注不确定性集的构建、列与约束生成（C&CG）算法的实现逻辑，并尝试对模型参数或结构进行修改以观察结果变化，从而深化对鲁棒优化机制的理解。

内容概要：本文围绕具有源荷不平衡特性的配电网，研究智能软开关（Soft Open Point, SOP）与储能系统（Energy Storage System, ESS）的联合规划方法。通过构建优化模型，综合考虑配电网中分布式电源出力与负荷需求之间的时空不匹配问题，利用智能软开关灵活调节功率流动的能力以及储能系统的能量时移特性，实现对配电网潮流的有效调控，提升系统运行的经济性与可靠性。文中采用Matlab进行仿真编程，验证所提联合规划方案在降低网络损耗、改善电压质量、提高可再生能源消纳能力等方面的优越性能。; 适合人群：具备电力系统分析、优化理论基础及Matlab编程能力的高校研究生、科研人员以及从事智能配电网规划与运行工作的工程技术人员。; 使用场景及目标：①解决高比例分布式可再生能源接入背景下配电网源荷不平衡导致的电压越限与潮流倒送问题；②优化配置智能软开关与储能的位置和容量，以实现系统综合成本最小化与运行性能最优化；③为新型配电系统中柔性元件的协同规划提供技术参考与仿真工具支持。; 阅读建议：此资源以Matlab代码实现为核心载体，建议读者在理解数学模型与物理机理的基础上，结合实际算例（如IEEE 33节点系统）进行代码调试与结果分析，进一步掌握SOP与储能协同作用的内在机制，并可在此基础上拓展多目标优化、不确定性建模等高级功能。

详细介绍及样例数据：https://blog.csdn.net/T0620514/article/details/158843598