列表去重工具
按整行删除重复项,可保留首次或末次出现,并按需忽略大小写与首尾空白。
列表去重工具介绍
列表去重工具是一款 Windows 本地重复行清理软件,可对姓名名单、编号清单、词条和其他逐行文本去重。支持粘贴文本直接处理,也支持批量读取本机文本文件,分别生成去重结果。
整行去重与保留方式
- 保留首次出现:每组重复行只留下最早的一行,结果按原有相对顺序排列。
- 保留末次出现:每组重复行只留下最后的一行,保留下来的行仍按原有相对顺序排列。
- 比较时可忽略英文大小写,也可忽略行首和行尾空白;这些选项只影响判断,保留行的原文不会被改写。
工具按整行判断重复,不解析字段。空行也参与去重;若要删除所有空行,可使用列表格式整理工具。
文本与文件两种处理方式
- 文本模式:粘贴逐行内容,选择保留规则与比较选项,处理后复制结果或导出 TXT。
- 文件模式:选择、拖入多个文件,或添加文件夹递归读取;支持 TXT、CSV、TSV、LOG、MD、JSONL 六种 UTF-8 文本文件。
- 每个文件独立去重并分别保存,默认输出到选定的文件夹;也可以选择覆盖源文件,覆盖前请备份。
如何批量删除重复行
- 输入或粘贴列表;需要处理文件时,切换文件模式并添加文件或文件夹。
- 选择保留首次或末次出现,按内容特点决定是否忽略大小写与首尾空白。
- 开始去重,核对处理前后行数与保留结果,再复制、导出或查看保存文件。
适用场景与优势
适合清理重复名单、重复编号、关键词库和逐行采集结果。文本在本机处理,无需上传;保留首次或末次可对应不同整理需求,比较选项还能处理仅大小写或首尾空白不同的条目。
常见问题
忽略首尾空白会删除行中的空格吗?
不会。该选项只用于比较是否重复,最终保留的整行文字仍是原文。
保留末次出现会反转列表吗?
不会。工具选出每组最后一次出现的行,再按这些行在原列表中的相对顺序输出。
多个文件之间会互相去重吗?
不会。每个文件独立处理,不会把多个文件合并后统一去重。
CSV 会按某一列去重吗?
不会。CSV 文件按物理文本行比较,不解析列或带换行的字段。