数据挖掘技术与应用之NLTK的使用

基于NLTK与TfidfVectorizer实现英文语句相似度计算。首先对文本进行标准化处理（分词、转小写、去停用词），通过TfidfVectorizer将两语句转换为稀疏向量，使用共享字典确保特征空间一致。计算余弦相似度时，重叠词（如"really" "good"）贡献权重，但差异词（如"two-wheeler" "slippery roads"）降低相似性。实验结果显示两短句相似度为0.38，表明语义部分重叠但差异显著，Tfidf加权有效区分了核心词与背景词的重要性。

基于姓名后缀启发式规则的性别预测。脚本nltk-gender.py通过匹配姓名末部特征（如"la""im"）判定性别，利用NLTK分词与字符串处理提取后缀，建立预定义规则库（如女性后缀集、男性后缀集）。测试发现，规则覆盖常见命名模式（如Layla/Tim），但无法处理例外（如中性后缀）。程序对标准数据集预测准确率约78%，表明启发式方法简单高效，但受限于语言文化多样性，需结合机器学习优化长尾场景。