数百M的TXT去重请教(python)

[yaotaoism]

请教各位，有一个TXT文件，大约几百M，内容每行一串数字，如果用python去重效率较高?求详细，求代码

[Italink]

假设你这些数有10位，那么可以把每一位作为一棵树的节点，构造一棵十叉搜索树，构造成功也就去重了，这样应该可能会快一点吧，

[黄哥Python培训]

用一个字典，读一行，判断在不在字典中。