在 Linux 系统中，当您处理大量文件或文本数据时，有时可能需要去除重复的行或者文件以实现数据的精简和效率提升。幸运的是，借助强大的 shell 命令行工具，我们可以快速而优雅地完成这个任务。本文将介绍如何通过 sort 和 uniq 这两个简单的命令来实现这一目标。

首先，我们来了解一下 sort 和 uniq 命令的基本用法。sort 命令用于对输入的数据按照字符顺序进行排序，而 uniq 则用来显示唯一行，即那些只出现一次的行。当我们结合使用这两个命令时，就可以轻松地去掉重复的内容。

下面是具体步骤：

1. 排序文件

2. 使用 sort 命令对要处理的文件进行排序。这将确保所有内容按字母顺序排列。 sh sort [options] file_name(s) 例如: sh sort list_of_files.txt

3. 过滤重复项

4. 在排序之后，我们使用 uniq 来移除相邻的重复行（仅保留第一个出现的行）。 sh uniq [options] file_name(s) 例如: sh uniq list_of_files.txt

5. 合并为一个命令

6. 将两个命令结合起来可以得到最终结果，这就是著名的 sort -u 组合。这里的 -u 是 uniq 的选项，告诉它在输出中忽略重复的行。 sh sort -u file_name(s) 例如: sh sort -u list_of_files.txt > unique_list_of_files.txt 在这个例子中，我们将结果保存到了一个新的文件 unique_list_of_files.txt 中。

7. 清理工作区

8. 如果不需要原始文件了，可以使用 rm 命令删除它们。请注意，这会永久性地删除这些文件，所以在执行此操作之前务必确认是否真的不再需要这些文件。 sh rm original_file*

综上所述，使用 sort 和 uniq 命令以及它们的组合 sort -u，您可以有效地在 Linux 环境中管理您的文件和数据，从而节省宝贵的存储空间和时间。记住，在使用任何命令前都要小心谨慎，因为一旦数据被误删，就很难恢复了。