列表去重工具

按整行删除重复项,可保留首次或末次出现,并按需忽略大小写与首尾空白。

列表去重工具介绍

列表去重工具是一款 Windows 本地重复行清理软件,可对姓名名单、编号清单、词条和其他逐行文本去重。支持粘贴文本直接处理,也支持批量读取本机文本文件,分别生成去重结果。

整行去重与保留方式

  • 保留首次出现:每组重复行只留下最早的一行,结果按原有相对顺序排列。
  • 保留末次出现:每组重复行只留下最后的一行,保留下来的行仍按原有相对顺序排列。
  • 比较时可忽略英文大小写,也可忽略行首和行尾空白;这些选项只影响判断,保留行的原文不会被改写。

工具按整行判断重复,不解析字段。空行也参与去重;若要删除所有空行,可使用列表格式整理工具。

文本与文件两种处理方式

  • 文本模式:粘贴逐行内容,选择保留规则与比较选项,处理后复制结果或导出 TXT。
  • 文件模式:选择、拖入多个文件,或添加文件夹递归读取;支持 TXT、CSV、TSV、LOG、MD、JSONL 六种 UTF-8 文本文件。
  • 每个文件独立去重并分别保存,默认输出到选定的文件夹;也可以选择覆盖源文件,覆盖前请备份。

如何批量删除重复行

  1. 输入或粘贴列表;需要处理文件时,切换文件模式并添加文件或文件夹。
  2. 选择保留首次或末次出现,按内容特点决定是否忽略大小写与首尾空白。
  3. 开始去重,核对处理前后行数与保留结果,再复制、导出或查看保存文件。

适用场景与优势

适合清理重复名单、重复编号、关键词库和逐行采集结果。文本在本机处理,无需上传;保留首次或末次可对应不同整理需求,比较选项还能处理仅大小写或首尾空白不同的条目。

常见问题

忽略首尾空白会删除行中的空格吗?

不会。该选项只用于比较是否重复,最终保留的整行文字仍是原文。

保留末次出现会反转列表吗?

不会。工具选出每组最后一次出现的行,再按这些行在原列表中的相对顺序输出。

多个文件之间会互相去重吗?

不会。每个文件独立处理,不会把多个文件合并后统一去重。

CSV 会按某一列去重吗?

不会。CSV 文件按物理文本行比较,不解析列或带换行的字段。