李坦(IT)学习空间 Instructional Technology and Big Data

基于12万条微博文本训练的词向量

2020-06-08
GarrettLee


该语言模型是采用gensim库提供的word2vec模型训练而成,训练样本量达12万条博文,该模型能够反映一定的语言规律,因此可以作为日常编程训练使用。

1.调用方法

from gensim.models import word2vec
model = word2vec.Word2Vec.load("public_opinion_word2vec_2.model")

2.测试

model.most_similar("上海")

语言模型

3.项目开源地址

https://github.com/GarrettLee-CN/Weibo-Language-Model 作为一名非科班出身的教育技术学研究生,技术水平十分有限。近期看到教育工作者在处理数据是比较困难,包括本教育技术学的科研工作者在面对大批量数据时也是束手无策,于是萌生了为教育工作者写一个开源库的想法,意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系,我们一起维护该项目! 本人感兴趣的研究方向:复杂系统计算可解释性的深度学习以及自然语言处理。微信公众号:SMNLP;个人博客:www.litan.tech在这里插入图片描述


Similar Posts

Comments