【python数据挖掘】十.Pandas、Matplotlib、PCA绘图实用代码补充

2019-11-06 06:07:06

字体：大中小

来源：转载

供稿：网友

这篇文章主要是最近整理《数据挖掘与分析》课程中的作品及课件过程中，收集了几段比较好的代码供大家学习。同时，做数据分析到后面，除非是研究算法创新的，否则越来越觉得数据非常重要，才是有价值的东西。后面的课程会慢慢讲解Python应用在Hadoop和Spark中，以及networkx数据科学等知识。如果文章中存在错误或不足之处，还请海涵~希望文章对你有所帮助。

一. Pandas获取数据集并显示

采用Pandas对2002年~2014年的商品房价数据集作时间序列分析，从中抽取几个城市与贵阳做对比，并对贵阳商品房作出分析。

数据集位32.csv，具体值如下：（读者可直接复制）

year	Beijing	Chongqing	Shenzhen	Guiyang	Kunming	Shanghai	Wuhai	Changsha2002	4764.00 	1556.00 	5802.00 	1643.00 	2276.00 	4134.00 	1928.00 	1802.00 2003	4737.00 	1596.00 	6256.00 	1949.00 	2233.00 	5118.00 	2072.00 	2040.00 2004	5020.93 	1766.24 	6756.24 	1801.68 	2473.78 	5855.00 	2516.32 	2039.09 2005	6788.09 	2134.99 	7582.27 	2168.90 	2639.72 	6842.00 	3061.77 	2313.73 2006	8279.51 	2269.21 	9385.34 	2372.66 	2903.32 	7196.00 	3689.64 	2644.15 2007	11553.26 	2722.58 	14049.69 	2901.63 	3108.12 	8361.00 	4664.03 	3304.74 2008	12418.00 	2785.00 	12665.00 	3149.00 	3750.00 	8195.00 	4781.00 	3288.00 2009	13799.00 	3442.00 	14615.00 	3762.00 	3807.00 	12840.00 	5329.00 	3648.00 2010	17782.00 	4281.00 	19170.00 	4410.00 	3660.00 	14464.00 	5746.00 	4418.00 2011	16851.95 	4733.84 	21350.13 	5069.52 	4715.23 	14603.24 	7192.90 	5862.39 2012	17021.63 	5079.93 	19589.82 	4846.14 	5744.68 	14061.37 	7344.05 	6100.87 2013	18553.00 	5569.00 	24402.00 	5025.00 	5795.00 	16420.00 	7717.00 	6292.00 2014	18833.00 	5519.00 	24723.00 	5608.00 	6384.00 	16787.00 	7951.00 	6116.00 
绘制对比各个城市的商品房价数据代码如下所示：
# -*- coding: utf-8 -*-"""Created on Mon Mar 06 10:55:17 2017@author: eastmount"""import pandas as pddata = pd.read_csv("32.csv",index_col='year') #index_col用作行索引的列名 #显示前6行数据 PRint(data.shape)  print(data.head(6))import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['simHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False   #用来正常显示负号data.plot()plt.savefig(u'时序图.png', dpi=500)plt.show()输出如下所示：
重点知识：1、plt.rcParams显示中文及负号；2、plt.savefig保存图片至本地；3、pandas直接读取数据显示绘制图形，index_col获取索引。
二. Pandas获取某列数据绘制柱状图
接着上面的实验，我们需要获取贵阳那列数据，再绘制相关图形。
# -*- coding: utf-8 -*-"""Created on Mon Mar 06 10:55:17 2017@author: eastmount"""import pandas as pddata = pd.read_csv("32.csv",index_col='year') #index_col用作行索引的列名 #显示前6行数据 print(data.shape)  print(data.head(6))import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['simHei'] #用来正常显示中文标签plt.rcParams['axes.unicode_minus'] = False   #用来正常显示负号data.plot()plt.savefig(u'时序图.png', dpi=500)plt.show()#获取贵阳数据集并绘图gy = data['Guiyang']print u'输出贵阳数据'print gygy.plot()plt.show()通过data['Guiyang']获取某列数据，然后再进行绘制如下所示：
通过这个数据集调用bar函数可以绘制对应的柱状图，如下所示，需要注意x轴位年份，获取两列数据进行绘图。
# -*- coding: utf-8 -*-"""Created on Mon Mar 06 10:55:17 2017@author: eastmount"""import pandas as pddata = pd.read_csv("32.csv",index_col='year') #index_col用作行索引的列名 #显示前6行数据 print(data.shape)  print(data.head(6))#获取贵阳数据集并绘图gy = data['Guiyang']print u'输出贵阳数据'print gyimport numpy as npx = ['2002','2003','2004','2005','2006','2007','2008',     '2009','2010','2011','2012','2013','2014']N = 13ind = np.arange(N)  #赋值0-13width=0.35plt.bar(ind, gy, width, color='r', label='sum num') #设置底部名称  plt.xticks(ind+width/2, x, rotation=40) #旋转40度  plt.title('The price of Guiyang')  plt.xlabel('year')  plt.ylabel('price')  plt.savefig('guiyang.png',dpi=400)  plt.show()  输出如下图所示：
补充一段hist绘制柱状图的代码：
import numpy as npimport pylab as pl# make an array of random numbers with a gaussian distribution with# mean = 5.0# rms = 3.0# number of points = 1000data = np.random.normal(5.0, 3.0, 1000)# make a histogram of the data arraypl.hist(data, histtype='stepfilled') #去掉黑色轮廓# make plot labelspl.xlabel('data') pl.show()输出如下图所示：
推荐文章：http://www.cnblogs.com/jasonfreak/p/5441512.html
三. Python绘制时间序列-自相关图
核心代码如下所示：# -*- coding: utf-8 -*-"""Created on Mon Mar 06 10:55:17 2017@author: yxz15"""import pandas as pddata = pd.read_csv("32.csv",index_col='year')#显示前6行数据  print(data.shape)  print(data.head(6))import matplotlib.pyplot as pltplt.rcParams['font.sans-serif'] = ['simHei']plt.rcParams['axes.unicode_minus'] = Falsedata.plot()plt.savefig(u'时序图.png', dpi=500)plt.show()from statsmodels.graphics.tsaplots import plot_acfgy = data['Guiyang']print gyplot_acf(gy).show()plt.savefig(u'贵阳自相关图',dpi=300)from statsmodels.tsa.stattools import adfuller as ADFprint 'ADF:',ADF(gy)输出结果如下所示：时间序列相关文章推荐：        python时间序列分析        个股与指数的回归分析（python）        Python_Statsmodels包_时间序列分析_ARIMA模型
四. 聚类分析大连交易所数据集
这部分主要提供一个网址给大家下载数据集，前面文章说过sklearn自带一些数据集以及UCI官网提供大量的数据集。这里讲述一个大连商品交易所的数据集。地址：http://www.dce.com.cn/dalianshangpin/xqsj/lssj/index.html#
比如下载"焦炭"数据集，命名为"35.csv"，在对其进行聚类分析。代码如下：# -*- coding: utf-8 -*-"""Created on Mon Mar 06 10:19:15 2017@author: yxz15"""#第一部分：导入数据集import pandas as pdCoke1 =pd.read_csv("35.csv")print Coke1 [:4]#第二部分：聚类from sklearn.cluster import KMeansclf=KMeans(n_clusters=3)pre=clf.fit_predict(Coke1)print pre[:4]#第三部分：降维from sklearn.decomposition import PCApca=PCA(n_components=2)newData=pca.fit_transform(Coke1)print newData[:4]x1=[n[0] for n in newData]x2=[n[1] for n in newData]#第四部分：用matplotlib包画图import matplotlib.pyplot as pltplt.titleplt.xlabel("x feature")plt.ylabel("y feature")plt.scatter(x1,x2,c=pre, marker='x')plt.savefig("bankloan.png",dpi=400)plt.show()输出如下图所示：
五. PCA降维及绘图代码
PCA降维绘图参考这篇博客。http://blog.csdn.net/xiaolewennofollow/article/details/46127485代码如下：
# -*- coding: utf-8 -*-"""Created on Mon Mar 06 21:47:46 2017@author: yxz"""from numpy import *def loadDataSet(fileName,delim='/t'):    fr=open(fileName)    stringArr=[line.strip().split(delim) for line in fr.readlines()]    datArr=[map(float,line) for line in stringArr]    return mat(datArr)def pca(dataMat,topNfeat=9999999):    meanVals=mean(dataMat,axis=0)    meanRemoved=dataMat-meanVals    covMat=cov(meanRemoved,rowvar=0)    eigVals,eigVets=linalg.eig(mat(covMat))    eigValInd=argsort(eigVals)    eigValInd=eigValInd[:-(topNfeat+1):-1]    redEigVects=eigVets[:,eigValInd]    print meanRemoved    print redEigVects    lowDDatMat=meanRemoved*redEigVects    reconMat=(lowDDatMat*redEigVects.T)+meanVals    return lowDDatMat,reconMatdataMat=loadDataSet('41.txt')lowDMat,reconMat=pca(dataMat,1)def plotPCA(dataMat,reconMat):    import matplotlib    import matplotlib.pyplot as plt    datArr=array(dataMat)    reconArr=array(reconMat)    n1=shape(datArr)[0]    n2=shape(reconArr)[0]    xcord1=[];ycord1=[]    xcord2=[];ycord2=[]    for i in range(n1):        xcord1.append(datArr[i,0]);ycord1.append(datArr[i,1])    for i in range(n2):        xcord2.append(reconArr[i,0]);ycord2.append(reconArr[i,1])    fig=plt.figure()    ax=fig.add_subplot(111)    ax.scatter(xcord1,ycord1,s=90,c='red',marker='^')    ax.scatter(xcord2,ycord2,s=50,c='yellow',marker='o')    plt.title('PCA')    plt.savefig('ccc.png',dpi=400)    plt.show()plotPCA(dataMat,reconMat)输出结果如下图所示：采用PCA方法对数据集进行降维操作，即将红色三角形数据降维至黄色直线上，一个平面降低成一条直线。PCA的本质就是对角化协方差矩阵，对一个n*n的对称矩阵进行分解，然后把矩阵投影到这N个基上。数据集为41.txt，值如下：
61.5	5559.8	6156.9	6562.4	5863.3	5862.8	5762.3	5761.9	5565.1	6159.4	6164	5562.8	5660.4	6162.2	5460.2	6260.9	5862	5463.4	5463.8	5662.7	5963.3	5663.8	5561	5759.4	6258.1	6260.4	5862.5	5762.2	5760.5	6160.9	5760	5759.8	5760.7	5959.5	5861.9	5858.2	5964.1	5964	5460.8	5961.8	5561.2	5661.1	5665.2	5658.4	6363.1	5662.4	5861.8	5563.8	5663.3	6060.7	6060.9	6161.9	5460.9	5561.6	5859.3	6261	5959.3	6162.6	5763	5763.2	5560.9	5762.6	5962.5	5762.1	5661.5	5961.4	5662	55.363.3	5761.8	5860.7	5861.5	6063.1	5662.9	5962.5	5763.7	5759.2	6059.9	5862.4	5462.8	6062.6	5963.4	5962.1	6062.9	5861.6	5657.9	6062.3	5961.2	5860.8	5960.7	5862.9	5862.5	5755.1	6961.6	5662.4	5763.8	5657.5	5859.4	6266.3	6261.6	5961.5	5863.2	5659.9	5461.6	5561.7	5862.9	5662.2	5563	5962.3	5558.8	5762	5561.4	5762.2	5663	5862.2	5962.6	5662.7	5361.7	5862.4	5460.7	5859.9	5962.3	5662.3	5461.7	6364.5	5765.3	5561.6	6061.4	5659.6	5764.4	5765.7	6062	5663.6	5861.9	5962.6	6061.3	6060.9	6060.1	6261.8	5961.2	5761.9	5660.9	5759.8	5661.8	5560	5761.6	5562.1	6463.3	5960.2	5661.1	5860.9	5761.7	5961.3	5662.5	6061.4	5962.9	5762.4	5760.7	5660.7	5861.5	5859.9	5759.2	5960.3	5661.7	6061.9	5761.9	5560.4	5961	5761.5	5561.7	5659.2	6161.3	5658	6260.2	6161.7	5562.7	5564.6	5461.3	6163.7	56.462.7	5862.2	5761.6	5661.5	5761.8	5660.7	5659.7	60.560.5	5662.7	5862.1	5862.8	5763.8	5857.8	6062.1	5561.1	6060	5961.2	5762.7	5961	5761	5861.4	5761.8	6159.9	6361.3	5860.5	5864.1	5967.9	6062.4	5863.2	6061.3	5560.8	5661.7	5663.6	5761.2	5862.1	5461.5	5561.4	5961.8	6062.2	5661.2	5660.6	6357.5	6461.3	5657.2	6262.9	6063.1	5860.8	5762.7	5962.8	6055.1	6761.4	5962.2	5563	5463.7	5663.6	5862	5761.5	5660.5	6061.1	6061.8	5663.3	5659.4	6462.5	5564.5	5862.7	5964.2	5263.7	5460.4	5861.8	5863.2	5661.6	5661.6	5660.9	5761	6162.1	5760.9	6061.3	6065.8	5961.3	5658.8	5962.3	5560.1	6261.8	5963.6	55.862.2	5659.2	5961.8	5961.3	5562.1	6060.7	6059.6	5762.2	5660.6	5762.9	5764.1	5561.3	5662.7	5563.2	5660.7	5661.9	6062.6	5560.7	6062	6063	5758	5962.9	5758.2	6063.2	5861.3	5960.3	6062.7	6061.3	5861.6	6061.9	5561.7	5661.9	5861.8	5861.6	5658.8	6661	5767.4	6063.4	6061.5	5958	6262.4	5461.9	5761.6	5662.2	5962.2	5861.3	5662.3	5761.8	5762.5	5962.9	6061.8	5962.3	5659	7060.7	5562.5	5562.7	5860.4	5762.1	5857.8	6063.8	5862.8	5762.2	5862.3	5859.9	5861.9	5463	5562.4	5862.9	5863.5	5661.3	5660.6	5465.1	5862.6	5858	6262.4	6161.3	5759.9	6060.8	5863.5	5562.2	5763.8	5864	5762.5	5662.3	5861.7	5762.2	5861.5	5661	5962.2	5661.5	5467.3	5961.7	5861.9	5661.8	5858.7	6662.5	5762.8	5661.1	6864	5762.5	6060.6	5861.6	5562.2	5860	5761.9	5762.8	5762	5766.4	5963.4	5660.9	5663.1	5763.1	5959.2	5760.7	5464.6	5661.8	5659.9	6061.7	5562.8	6162.7	5763.4	5863.5	5465.7	5968.1	5663	6059.5	5863.5	5961.7	5862.7	5862.8	5862.4	5761	5963.1	5660.7	5760.9	5960.1	5562.9	5863.3	5663.8	5562.9	5763.4	6063.9	5561.4	5661.9	5562.4	5561.8	5861.5	5660.4	5761.8	5562	5662.3	5661.6	5660.6	5658.4	6261.4	5861.9	5662	5661.5	5762.3	5860.9	6162.4	5755	6158.6	6062	5759.8	5863.4	5564.3	5862.2	5961.7	5761.1	5961.5	5658.5	6261.7	5860.4	5661.4	5661.5	5561.4	5665	5656	6060.2	5958.3	5853.1	6360.3	5861.4	5660.1	5763.4	5561.5	5962.7	5662.5	5561.3	5660.2	5662.7	5762.3	5861.5	5659.2	5961.8	5961.3	5561.4	5862.8	5562.8	6462.4	6159.3	6063	6061.3	6059.3	6261	5762.9	5759.6	5761.8	6062.7	5765.3	6263.8	5862.3	5659.7	6364.3	6062.9	5862	5761.6	5961.9	5561.3	5863.6	5759.6	6162.2	5961.7	5563.2	5860.8	6060.3	5960.9	6062.4	5960.2	6062	5560.8	5762.1	5562.7	6061.3	5860.2	6060.7	56
        最后希望这篇文章对你有所帮助，尤其是我的学生和接触数据挖掘、机器学习的博友。这篇文字主要是记录一些代码片段，作为在线笔记，也希望对你有所帮助。        一醉一轻舞，一梦一轮回。一曲一人生，一世一心愿。       (By:Eastmount 2017-03-07 下午3点半  http://blog.csdn.net/eastmount/ )