linux命令 sort文本去重

对于sort 可以输出 不重复的字段的用法

sort -u <taskfile>

扩展 命令 sortx.sh

#!/bin/bash

/bin/sort -u $1 -o $1

此命令扩展 的意图 去除指定的文件中重复的单字 并写回原文件

这个命令对于基于文本处理并作模型构建的同学有方便之处 不必要自己写去重工具了