python中字符串去重问题

[Neptune236]

类似于这种字符串，如何去重

[rrrr336]

需要用到正则。 我刚写的，参考。

# -*- coding: utf-8 -*-
import re
s = '静夜思 床前明月光，疑是床前明月光，疑是地上霜。举头望明月，低头思望明月，低头思故乡'

pat = r'(.+)(\1)+'
for i in re.findall(pat, s):
    s = s.replace(i[0],'', 1)
print(s)
# 静夜思 床前明月光，疑是地上霜。举头望明月，低头思故乡

[chuifengde]

这个比较复杂，后面的"什么"也是算重复的，肯定不能去重。

[秋千Swing0_0]

可以考虑分词后去重，中文分词可以考虑用这个包 import jieba