删除多行文本里面重复值

2015-04-16 09:13:59 357 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

Excel数据分析从入门到精通（一）软件操作技巧 Excel数据分析从入门到精通（一）软件操作技巧1.单元格内换行2.锁定标题行3.查找重复值4.删除重复值5.将金额转换为万元显示6.隐藏0值7.隐藏单元格内所有的值8.在单元格内输入000019.按月补充日期10.合并多个单元格的内容11.防止重复录入数据12.公式格式转数值13.小数取整数14.快速插入多行空白行15.快速互换两行、列的内容16.批量求和17.同时查看一个Excel文件的两个工作表18.同时修改两个sheet中相同位置的值19.恢复未保存文件20.文件加密21.快速关闭所有Excel文件阅读详情

text1是多行文本，里面有很多行数据，如果有重复的就删除，保留一个就好了。怎么操作？？？非常感谢

...全文

使用Python处理百万数据量的Excel文件：删除列、切分换行、替换去重 Python辅助Excel文件处理的一些小方法阅读详情

游子

VB基础类 7,788 成员 197,583 内容

+ 关注 + 加入社区

切换为时间正序

Carlven2012 2015-04-19

打赏
举报

是想要的下图这效果吗？

赵4老师 2015-04-17

打赏
举报

仅供参考：

//文件1中的内容排序并去重,结果保存到文件2中
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#define MAXCHARS 128      //能处理的最大行宽,包括行尾的\n和字符串尾的\0
int MAXLINES=10000,MAXLINES2;
char *buf,*buf2;
int c,n,hh,i,L;
FILE *f;
char ln[MAXCHARS];
int ignore_case=0;
int icompare(const void *arg1,const void *arg2) {
   return stricmp((char *)arg1,(char *)arg2);
}
int compare(const void *arg1,const void *arg2) {
   return strcmp((char *)arg1,(char *)arg2);
}
int main(int argc,char **argv) {
    if (argc<3) {
        printf("Unique line. Designed by zhao4zhong1@163.com. 2012-08-20\n");
        printf("Usage: %s src.txt uniqued.txt [-i]\n",argv[0]);
        return 1;
    }
    if (argc>3) ignore_case=1;//若存在命令行参数3，忽略大小写
    f=fopen(argv[1],"r");
    if (NULL==f) {
        printf("Can not find file %s!\n",argv[1]);
        return 1;
    }
    buf=(char *)malloc(MAXLINES*MAXCHARS);
    if (NULL==buf) {
        fclose(f);
        printf("Can not malloc(%d LINES*%d CHARS)!\n",MAXLINES,MAXCHARS);
        return 2;
    }
    n=0;
    hh=0;
    i=0;
    while (1) {
        if (NULL==fgets(ln,MAXCHARS,f)) break;//
        hh++;
        L=strlen(ln)-1;
        if ('\n'!=ln[L]) {//超长行忽略后面内容
            printf("%s Line %d too long(>%d),spilth ignored.\n",argv[1],hh,MAXCHARS);
            while (1) {
                c=fgetc(f);
                if ('\n'==c || EOF==c) break;//
            }
        }
        while (1) {//去掉行尾的'\n'和空格
            if ('\n'==ln[L] || ' '==ln[L]) {
                ln[L]=0;
                L--;
                if (L<0) break;//
            } else break;//
        }
        if (L>=0) {
            strcpy(buf+i,ln);i+=MAXCHARS;
            n++;
            if (n>=MAXLINES) {
                MAXLINES2=MAXLINES*2;
                if (MAXLINES2==1280000) MAXLINES2=2500000;
                buf2=(char *)realloc(buf,MAXLINES2*MAXCHARS);
                if (NULL==buf2) {
                    printf("Can not malloc(%d LINES*%d CHARS)!\n",MAXLINES2,MAXCHARS);
                    printf("WARNING: Lines >%d ignored.\n",MAXLINES);
                    break;//
                }
                buf=buf2;
                MAXLINES=MAXLINES2;
            }
        }
    }
    fclose(f);
    if (n>1) {
        if (ignore_case) qsort(buf,n,MAXCHARS,icompare);
        else qsort(buf,n,MAXCHARS,compare);
    }
    f=fopen(argv[2],"w");
    if (NULL==f) {
        free(buf);
        printf("Can not create file %s!\n",argv[2]);
        return 2;
    }
    fprintf(f,"%s\n",buf);
    if (n>1) {
        if (ignore_case) {
            hh=0;
            L=MAXCHARS;
            for (i=1;i<n;i++) {
                if (stricmp((const char *)buf+hh,(const char *)buf+L)) {
                    fprintf(f,"%s\n",buf+L);
                }
                hh=L;
                L+=MAXCHARS;
            }
        } else {
            hh=0;
            L=MAXCHARS;
            for (i=1;i<n;i++) {
                if ( strcmp((const char *)buf+hh,(const char *)buf+L)) {
                    fprintf(f,"%s\n",buf+L);
                }
                hh=L;
                L+=MAXCHARS;
            }
        }
    }
    fclose(f);
    free(buf);
    return 0;
}

vansoft 2015-04-16

打赏
举报

一行行读出来。加入集合，使用KEY，如果KEY相同是加不进去的。全加完后，把集合再保存到文件里。

of123 2015-04-16

打赏
举报

是指相同内容的整行？可以利用 ListBox 控件来实现：


Private Declare Function SendMessagebyString Lib "user32" Alias "SendMessageA" (ByVal hWND As Long, _
ByVal wMsg As Long, ByVal wParam As Long, ByVal lParam As String) As Long

Private Const LB_FINDSTRINGEXACT = &H1A2    '在 ListBox 中精确查找

Private Sub Get_Unique_Line(strFile As String)
    Dim strLine As String

    List1.Clear
    Open strFile For Input As #1
    Do Until EOF(1)
        Line Input #1, strLine
        If -1 = SendMessagebyString(List1.hWnd, LB_FINDSTRINGEXACT, -1, strLine) Then List1.AddItem strLine
    Loop
    Close #1
End Sub

List1 里面就是那些唯一的行了。你可以输出保存到新文件中。当然，也可以写到原文件中。

Open strFile For Output As #1
Do While List1.ListCount
    Print #1, List1.List(0)
    List1.RemoveItem 0
Loop
Close #1

删除多行文本里面重复值

相关推荐