一些英语单词更频繁地出现在一起。例如 - 天空高,做或死,最佳表现,大雨等。因此,在文本文档中,我们可能需要识别这样的一对词,这将有助于情绪分析。首先,我们需要从现有句子生成这样的单词对来维持它们的当前序列。这种对称为双字母。Python有一个bigram函数作为NLTK库的一部分,它可以帮助我们生成这些对。
例
import nltk
word_data = "The best performance can bring in sky high success."
nltk_tokens = nltk.word_tokenize(word_data)
print(list(nltk.bigrams(nltk_tokens)))