社区
Java
帖子详情
java求一个历史数据的解决思路
qq1401962176
2018-05-31 08:26:52
再做一个人员管理系统,在历史数据的一些字段犯了难。就是籍贯的问题,首先正规化肯定是页面下拉框选省市区,数据库存对应代号,可是客户要求历史数据通过excel导入,数据又很错乱。比如籍贯有:济南、山东省济南、山东省济南市、山东济南。想问问有经验的事怎么处理在表中取到的是不规则的地名获取到相应的代号的。假设数据库已经有完整省市区代号对应地名。
...全文
1080
5
打赏
收藏
java求一个历史数据的解决思路
再做一个人员管理系统,在历史数据的一些字段犯了难。就是籍贯的问题,首先正规化肯定是页面下拉框选省市区,数据库存对应代号,可是客户要求历史数据通过excel导入,数据又很错乱。比如籍贯有:济南、山东省济南、山东省济南市、山东济南。想问问有经验的事怎么处理在表中取到的是不规则的地名获取到相应的代号的。假设数据库已经有完整省市区代号对应地名。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
5 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Tommy_12
2018-06-02
打赏
举报
回复
像这种我刚做过一个系统导数据的时候和你的需求差不多 只不过我不是要省市县,我只从地址中提取县, 给你个思路 ,先复制一张临时区域表,只保留省,从区域表中中获取省编码名称,其次区域表只保留市名,根据地址获取市编码名称,最后区域表只保留县,然后获取县编码名称,然后你区域表肯定省市县是有规律的,最后核对下。这样做虽然复杂了些 但是效果是有的。真是处理40000条数据经验。希望对你有帮助。
nayi_224
2018-05-31
打赏
举报
回复
吉林省,吉林省吉林市。填个吉林就没法判断了。更何况全国还有上千个市区,一一判断累死了。最简单粗暴的方法是将码表,或是映射后的码表给客户让他们直接填编码。交涉不通再考虑预处理吧。 记住,千万不要对甲方的智商有任何期待,他们什么事都做得出。
Mr.Java.
2018-05-31
打赏
举报
回复
对于每一条记录的该字段处理处理如下 第一步: 预处理, 基于有山东济南,济南山东的字段,必须将所有的“省”“市”关键字去掉, 例如广东省东莞市----》广东东莞 第二步: 创建 省名--编号 Map<key,value> 字典 创建 市名--编号 Map<key,value> 字典 第三步: 模式匹配,字符串替换,正则表达式 这些可以直接将 字段替换成代号,具体方法可以自己完成
聪头
2018-05-31
打赏
举报
回复
按最小地区名检索替换。对于重名的地名标注不替换,最后审核。
dong_19890208
2018-05-31
打赏
举报
回复
1、数据不一致导入前肯定要对数据进行处理,可以根据市的最简称去匹配,比如济南 只要名称里包含济南就可以确定是济南市,据此将名称处理成与数据字典中的一致 (也可以在导入程序中处理) 2、市的名称应该都是唯一的,可以将市的信息全部查出来再放到Map中,用市的名称作为key值,市的编号作为value值,后面逐行读取信息的时候就可以根据名称从Map中取到编号了
用
Java
导出Excel缓慢问题的
解决
思路
前几天被分配了
一个
需
求
,目前在做的系统的
历史数据
的导出,当数据量达到10W,20W甚至更多时,导出速度十分缓慢,OK,先做测试,发现真的好慢,仅仅6000条数据居然道出了10分钟!太夸张了,检查了一下逻辑,发现问题...
如何记录
Java
对象的修改历史和实现数据修改日志
在大多数业务场景中,修改历史是非常重要的信息。例如,当我们对某个对象进行数据修改时,...在
Java
开发中,我们可以使用观察者模式来实现记录
Java
对象的修改历史和实现数据修改日志。本文将介绍如何实现这一功能。
java
千万级别数据生成文件
思路
和优化
java
千万级别数据生成文件
思路
和优化 一年前写过
一个
百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到
一个
文件中去. 程序刚开始设计的时候说...
【已
解决
】
Java
中使用 ES 高级客户端库 RestHighLevelClient 清理百万级规模
历史数据
在经过调研之后发现,某服务项目每周产生的数据量已经达到...工作中遇到这样
一个
需
求
场景:由于ES数据库中
历史数据
过多,占用太多的磁盘空间,需要定期地进行清理,在一定程度上可以释放磁盘空间,减轻磁盘空间压力。
Java
读取千万级别数据生成文件
思路
和优化
一年前写过
一个
百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到
一个
文件中去。 程序刚开始设计的时候说的是最多百万级别数据,最多50W数据生成...
Java
51,410
社区成员
85,982
社区内容
发帖
与我相关
我的任务
Java
Java相关技术讨论
复制链接
扫一扫
分享
社区描述
Java相关技术讨论
java
spring boot
spring cloud
技术论坛(原bbs)
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章