python读取csv文件数据，怎样管理这些数据最有效？

[m62484]

小弟初学python，为了解决工作上的一个问题，写了一个脚本，大致流程是:
1.从新的csv文件里读取数据，生成一个字典A。
2.然后从总数据xlxs里逐行读取数据，形成字典B.
3.for循环查找两个字典中的相同数据，并显示。
4.将新csv文件里的新数据 逐行写入总数据文件xlxs。保存

目前的脚本能够满足工作需要，可以运行。但是遇到如下问题:
1.代码执行比较慢，目前是不到10w的数据量。我觉得是我的方法比较蠢。将来应该会更慢。应该向哪个方向修改？
2.通过写入xlxs保存数据，是我目前理解的总数据库。请问我需要sql这样的方法吗？
3.解决这样的问题，怎么做才是正确的编程思路？
4.现在的脚本是单机运行。我们是在局域网办公，开了网络邻居，我在同事电脑上，更改了代码里的源文件地址也可以访问运行，但是两个人目前无法同时运行这个程序，对同一文件同时读写肯定会出错。应该怎么解决？

组织了半天语言，不知道阐述的有没有问题？希望各位大神百忙之中解答一下。万分感谢！！！

[CDSoftwareWj]

你的方法 确实是最笨的方法 http://www.iplaypy.com/jichu/set.html 不过用这种方法，注意系统内存开销，不行可以分段处理 用SQL呀什么的都没问题，你看你能力用

[chuifengde]

用数据库吧，实在不行用vba也强点