该语言模型是采用gensim库提供的word2vec模型训练而成,训练样本量达12万条博文,该模型能够反映一定的语言规律,因此可以作为日常编程训练使用。
1.调用方法
from gensim.models import word2vec model = word2vec.Word2Vec.load("public_opinion_word2vec_2.model")
2.测试
model.most_similar("上海")
3.项目开源地址
https://github.com/GarrettLee-CN/Weibo-Language-Model 作为一名非科班出身的教育技术学研究生,技术水平十分有限。近期看到教育工作者在处理数据是比较困难,包括本教育技术学的科研工作者在面对大批量数据时也是束手无策,于是萌生了为教育工作者写一个开源库的想法,意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系,我们一起维护该项目! 本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号:SMNLP;个人博客:www.litan.tech。