Welcome to litan's blog

这是我的教育技术学习小天地

机器学习日志打印

2020-06-08

GarrettLee

Python

Python

在机器学习过程中，为了可以实时反映处理过程，经常打印日志，实现对该过程的实时监控。 ```python import logging

logging.basicConfig(format = ‘%(asctime)s : %(levelname)s : %(message)s’, level = logging.INFO) #打印日志 ```

作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一个开源库的想法，意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系，我们一起维护该项目！本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号：SMNLP;个人博客:www.litan.tech。

Read All
基于12万条微博文本训练的词向量

2020-06-08

GarrettLee

Python

Python
该语言模型是采用gensim库提供的word2vec模型训练而成,训练样本量达12万条博文，该模型能够反映一定的语言规律，因此可以作为日常编程训练使用。

1.调用方法
from gensim.models import word2vec model = word2vec.Word2Vec.load("public_opinion_word2vec_2.model")
2.测试
model.most_similar("上海")
3.项目开源地址

https://github.com/GarrettLee-CN/Weibo-Language-Model 作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一个开源库的想法，意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系，我们一起维护该项目！本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号：SMNLP;个人博客:www.litan.tech。
Read All
python实现机器学习模型保存

2020-05-06

GarrettLee

Python

Python
- 1.模型保存
在训练完成机器学习模型后，经常将满足需要的机器学习模型进行保存，本文以SVM算法为例，讲解模型保存和调用的方法。

1.模型保存
joblib.dump(模型, 模型命名) #将训练模型保存起来
如： ```python from sklearn.svm import SVC from sklearn.metrics import classification_report from sklearn.externals import joblib
clf = SVC(kernel=’linear’, C=1) clf.fit(obj_sub_data_train_vecs,objtrainy)

y_predict= clf.predict(obj_sub_data_test_vecs) print (classification_report(objtesty, y_predict)) joblib.dump(clf, ‘SVM_1.model’)
```
## 2.模型调用
```python
joblib.load(模型名)
```
如：
```
from sklearn.externals import joblib
def svm_predict(filename):
    filename=filename
    words_vecs=buildVecs(filename)
    CLF_1=joblib.load('SVM_1.model')#模型调用
    CLF_2=joblib.load('SVM_2.model')
    y_predict_all=[]
    result_1=CLF_1.predict(words_vecs)
    for i in result_1:
        if int(result_1[i])==0:
            y_predict=0
        else:
            result_2=CLF_2.predict(words_vecs[i])
            if result_2==0:
                y_predict=-1
            else:
                 y_predict=1
        y_predict_all.append(y_predict)
    print(y_predict_all)
```
作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一个开源库的想法，意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系，我们一起维护该项目！本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号：SMNLP;个人博客:www.litan.tech。
Read All
python实现文本词频统计并输出

2020-05-03

GarrettLee

Python

Python
- 1.文件夹内容展示
教育研究中，经常对一个或者多个文本进行词频统计分析，用以反映该文本的主题。本文首先介绍利用oset开源库中提供的wordcount()函数实现的字符统计简单调用方式（第2小节）；随后解析wordcount()函数源代码以及其中的一些知识点（第3小节）。

1.文件夹内容展示

该文件夹中分别包含“教育学部.txt”，“心理学部.txt”等单个文件。我们将利用oset库中wordcount函数实现对单个文件或者多个文件的字符统计处理。

2.词频统计

oset库可以自动识别是对单个文件还是多个文件进行操作。因此研究者在实际应用中无需分别调用两个函数实现单个和多个文件词频统计，仅仅调用wordcount()函数即可，十分方便。

2.1单个文件词频统计

2.1.1 调用形式
from oset import Chineseword Chineseword.wordcount('C:\\Users\\Administrator\\Desktop\\test\\教育学部.txt')
返回结果：

2.1.2 运行结果

2.2 多文件词频统计

2.2.1 调用形式
from oset import Chineseword Chineseword.wordcount('C:\\Users\\Administrator\\Desktop\\test')
2.2.2 运行结果

3.源码解析
def wordcount(filepath): '''try---except---部分为了判断传入的地址是指向单个文件还是文件夹，如果是文件夹，则首先需要对所有文件进行合并并读取出来。''' try: File.combfile(filepath) sentence=File.readfile(filepath+'\\combfile_Fin.txt') os.remove(filepath+'\\combfile_Fin.txt') #os.remove在这里起到对产生的临时文件进行清除的作用 except: sentence=File.readfile(filepath) filepath = os.path.dirname(filepath) sentence=Chineseword.cutword(sentence) worddict=Chineseword.sentencecount(sentence) worddict=sorted(worddict.items(), key = lambda kv:(kv[1], kv[0]),reverse=True) #sorted是对字典进行排序，默认为升序，则reverse=True ##表示降序 wordcount_csv = open(filepath+'/osetwordcount.csv','w+') for key_value in worddict: wordcount_csv.write(str(key_value)[1:-1]+'\n') #此处[1:-1]是对强制类型转化为str后的文本进行 #处理去除前后的括号() print("统计完毕，文件已经输出到:"+filepath+"\osetwordcount.csv文件中")
4.声明

上述原码来源于我编写的oset开源库，该库旨在帮助教育研究者便捷处理日常科研、工作中遇到的问题。
作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一个开源库的想法，意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系，我们一起维护该项目！本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号：SMNLP;个人博客:www.litan.tech。
Read All
Gexf

2020-05-01
layout: post title: “gexf错误修改方法” date: 2020-05-01 categories: Python tags: Python gexf 复杂网络 —
gexf作为复杂网络绘图的一种函数库，在python3环境下安装时却存在一系列问题，本文将在python3.8环境下为案例，对安装过程中存在文的问题进行解析。

1.安装

采用镜像方式安装：pip install pygexf -i http://pypi.douban.com/simple –trusted-host pypi.douban.com

2.错误解决

2.1 No module named’_gexf’
```
import gexf
```
此时错误提示：No module named’_gexf’ 该错误解决办法：

打开python下site-packages 文件夹，找到gexf文件夹，对文件夹内的__init__.py进行修改,将所有的__gext之前加’.’（加一个 “点” ）

如何快速定位到本地的python的site-packages文件夹可以参见这篇文章，在此不再赘述。修改过程如下：

2.2 TabError: inconsistent use of tabs and spaces in indentation

在继续执行命令时又会遇到：
```
TabError: inconsistent use of tabs and spaces in indentation
```
错误，是因为开发者在编写开源库时，格式上的错误，存在一部分被封装的函数多出了空格，因此需要我们对错误提示进行逐个消除，如：表示_gexf.py文件中第47行存在这样的格式错误：如图所示，第48行中，两个Tab缩进前有一个“空格”，因此将这个空格删除，即可。检查该函数下其余条目的程序是否存在同类问题。如：第60行开始也存在此类问题。具体根据错误提示逐个检查……

2.3 SyntaxError: Missing parentheses in call to ‘print’. Did you mean print(self.label+” “+self.type+” “+self.mode+” “+self.start+” “+self.end)?

这是因为库的编写者是在python2基础上编写的，因此在python3中，很多的语法不能够匹配，这里按照print()的格式修改即可。如，228行存在错误，修改后。

2.4 except Exception, e:SyntaxError: invalid syntax

同理，也是因为编写者所写的版本不同导致的，修改方法：将 , 改为 as

2.5 if tag <> “gexf” :SyntaxError: invalid syntax

修改方法：

将<>变为!=

3.总结

至此所有的错误修改完毕，在运行过程如果还遇到报错，按照本文所讲的类似步骤逐个查找并解决可以。虽然gexf函数库在python3的环境下，存在一些错误。但是不可否认该函数库对解决复杂网络问题所做出的贡献，向开源作者点赞！

作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一个开源库的想法，意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系，我们一起维护该项目！

本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号：SMNLP;个人博客:www.litan.tech。
Read All
Python实现文件的字符云

2020-04-20

GarrettLee

Python

Python
教育研究中，有时需要对一个文档进行可视化展示——字符云。而有时还需要对多个文档内容合并进行可视化展示。本文首先给出通过调用oset（教育技术开源库）实现字符云最简单的方式（见第2小节）;随后将介绍oset中实现该原理的源码，供有需要的同学研究和二次开发。

1.文件夹内容展示

2.字符云展示

2.1单个文件字符云可视化
```
#如仅仅对上述文件夹中“教育学部.txt”文件进行可视化展示
from oset import Chineseword
Chineseword.wordcloud('C:\\Users\\Administrator\\Desktop\\test\\教育学部.txt')
```
可视化结果如下：

2.1多个文件字符云可视化
```
#将test文件夹中所有的
from oset import Chineseword
Chineseword.wordcloud('C:\\Users\\Administrator\\Desktop\\test')
```
可视化结果如下：

3.wordcloud()函数源码

所有的原码以及原理说明，请见下面代码中的注释：
```
def wordcloud(filepath):
       '''判断出是否为单个文件还是存有多个文件的文件夹，
		  如果是多个文件则调用oset库中File类combfile()函数
		  首先实现文件合并,并读取合并后文件内容。无论是单个文
		  件还是多个文件合并后的结果，均通过sentence变量存取
		  文档的结果'''
		try:
			File.combfile(filepath)
			sentence=File.readfile(filepath+'\\combfile_Fin.txt')
		except:
			sentence=File.readfile(filepath)
			filepath = os.path.dirname(filepath)
		'''调用oset库中，Chineseword类的cutword函数，实现
		   对文件的分词，并将sentence承接'''
		sentence=Chineseword.cutword(sentence)
		'''通过wordcount函数实现对分词后文档词频进行统计，
		并以字典形式返回'''
		worddict=Chineseword.wordcount(sentence)
		keylist,valuelist = worddict.keys(),worddict.values()
		outputFile = filepath+'\\osetwordcloud.html'
		'''调用pyecharts库中WordCloud函数实现字符云绘制'''
		cloud = WordCloud('wordcloud', width=1000, height=600)
		cloud.add(
			' ',keylist,valuelist,
			shape='circle',
			)
		cloud.render(outputFile)
```
声明

上述原码来源于我编写的oset开源库，该库旨在帮助教育研究者便捷处理日常科研、工作中遇到的问题。

作为一名非科班出身的教育技术学研究生，技术水平十分有限。近期看到教育工作者在处理数据是比较困难，包括本教育技术学的科研工作者在面对大批量数据时也是束手无策，于是萌生了为教育工作者写一个开源库的想法，意图通过简单的几行代码就可以完成诸如文件合并、字符云等复杂功能。欢迎关注该项目,如果有同学在此方面感兴趣和可以和我联系，我们一起维护该项目！

本人感兴趣的研究方向:复杂系统计算与可解释性的深度学习以及自然语言处理。微信公众号：SMNLP;个人博客:www.litan.tech。
Read All