很多时候，我们需要仅针对文件中存在的唯一单词分析文本。因此，我们需要从文本中删除重复的单词。这是通过使用nltk中可用的单词标记化和设置功能来实现的。
没有保留订单
在下面的例子中，我们首先将句子标记为单词。然后我们应用set（）函数创建一个无序的唯一元素集合。结果具有不排序的唯一单词。
import nltk
word_data = "The Sky is blue also the ocean is blue also Rainbow has a blue colour."
# First Word tokenization
nltk_tokens = nltk.word_tokenize(word_data)
# Applying Set
no_order = list(set(nltk_tokens))
print no_order