标签：elec python 模型 tecdat 序列 train 拓端 test 2014

原文链接：http://tecdat.cn/?p=23921

原文出处：拓端数据部落公众号

本文描述了训练支持向量回归模型的过程，该模型用于预测基于几个天气变量、一天中的某个小时、以及这一天是周末/假日/在家工作日还是普通工作日的用电量。

关于支持向量机的快速说明

支持向量机是机器学习的一种形式，可用于分类或回归。尽可能简单地说，支持向量机找到了划分两组数据的最佳直线或平面，或者在回归的情况下，找到了在容差范围内描述趋势的最佳路径。

对于分类，该算法最大限度地减少了对数据进行错误分类的风险。

对于回归，该算法使回归模型在某个可接受的容差范围内没有获得的数据点的风险最小化。

导入一些包和数据

1.    
2.   import pandas as pd # 对于数据分析，特别是时间序列
3.   import numpy as np # 矩阵和线性代数的东西，类似MATLAB
4.   from matplotlib import pyplot as plt # 绘图
5.    

Scikit-learn是Python中的大型机器学习包之一。

1.   from sklearn import svm
2.   from sklearn import cross_validation
3.   from sklearn import preprocessing as pre

在此随机插入更好的数据可视化。

1.   # 设置颜色
2.   graylight = '#d4d4d2'
3.   gray = '#737373'
4.   red = '#ff3700'
5.    

我在这个模型中使用的数据是通过公寓中安装的智能电表中获得的。

USAGE "字段给出了该小时内的用电度数。

1.    
2.   elec.head(3)

Out[5]:

天气数据提取。

1.    
2.   weather.head()

 

预处理

合并电力和天气

首先，我们需要将电力数据和天气数据合并到一个数据框中，并去除无关的信息。

1.    
2.   # 合并成一个Pandas数据框架
3.   pd.merge(weather, elec,True, True)
4.    
5.   # 从数据框架中删除不必要的字段
6.   del elec['tempm'], elec['cost']
7.    
8.   # 将风速转换为单位
9.   elec['wspdm'] * 0.62
10.    
11.   elec.head()
12.    

 

1.   fig = plt.figure(figsize=[14,8])
2.    
3.   elecweather['USAGE'].plot

我想将典型的工作日与周末、假日和在家工作的日子区分开来。所以现在所有的正常工作日都是0，所有的假期、周末和在家工作的日子都是1。

分类变量：平日与周末/假期/在家工作日

1.    
2.   ## 将周末和节假日设置为1，否则为0
3.   elecwea['Day'] = np.zeros
4.    
5.   # 周末
6.   elecwea['Atypical_Day'][（elecwea.index.dawe==5）|（elecwea.index.dawe==6）] = 1
7.    
8.   # 假期，在家工作日
9.   假期 = ['2014-01-01','2014-01-20']
10.   workhome = ['2014-01-21','2014-02-13','2014-03-03','2014-04-04']
11.    
12.   for i in range(len(holiday)):
13.   elecwea['Day'][elecwea.index.date==np.datetime64(holidays[i])] = 1
14.   for i in range(len(workhome)):
15.   elecwea['Day'][elecwea.index.date==np.datetime64(workhome[i]) ] = 1
16.    
17.   elecwea.head(3)
18.    

更多的分类变量：一周中的一天，小时

在这种情况下，一天中的每个小时是一个分类变量，而不是连续变量。做分析时，需要对一天中的每一个小时进行 "是 "或 "否 "的对应。

1.    
2.   # 为一天中的每个小时创建新的列，如果index.hour是该列对应的小时，则分配1，否则分配0
3.    
4.   for i in range(0,24):
5.   elecweat[i] = np.zeros(len(elecweat['USAGE'))
6.   elecweat[i][elecweat.index.hour==i] = 1
7.    
8.   # 例子 3am
9.   elecweat[3][:6]
10.    

时间序列：需要附加上以前的用电需求的历史窗口

由于这是一个时间序列，如果我们想预测下一小时的能耗，训练数据中任何给定的X向量/Y目标对都应该提供当前小时的用电量（Y值，或目标）与前一小时（或过去多少小时）的天气数据和用量（X向量）。

1.    
2.   # 在每个X向量中加入历史用量
3.    
4.   # 设置预测的提前小时数
5.   hours = 1
6.    
7.   # 设置历史使用小时数
8.   hourswin = 12
9.    
10.    
11.   for k in range(hours,hours+hourswin):
12.    
13.   elec_weat['USAGE-%i'% k] = np.zero(len(elec_weat['USAGE'])
14.    
15.    
16.    
17.   for i in range(hours+hourswi,len(elecweat['USAGE'])）。)
18.    
19.   for j in range(hours,hours+hourswin):
20.    
21.   elec_weat['USAGE-%i'% j][i] = elec_weat['USAGE]i-j] 。
22.    
23.    
24.   elec_weat.head(3)
25.    

分成训练期和测试期

由于这是时间序列数据，定义训练期和测试期更有意义，而不是随机的零星数据点。如果它不是一个时间序列，我们可以选择一个随机的样本来分离出一个测试集。

1.    
2.   # 定义训练和测试期
3.   train_start = '18-jan-2014'（训练开始）。
4.   train_end = '24-march-2014'.
5.   test_start = '25-march-2014'（测试开始）。
6.   test_end = '31-march-2014'。
7.    

1.    
2.    
3.   # 分成训练集和测试集（仍在Pandas数据帧中）。
4.    
5.   xtrain = elec_and_weather[train_start:train_end]。
6.   del xtrain['US']
7.   del xtrain['time_end']
8.    
9.    
10.   ytrain = elec_and_weather['US'][train_start:train_end] 。
11.    

将训练集输出成csv，看得更清楚。

X_train_df.to_csv('training_set.csv')

scikit-learn包接收的是Numpy数组，而不是Pandas DataFrames，所以我们需要进行转换。

1.   # 用于sklearn的Numpy数组
2.    
3.   X_train = np.array(X_train_df)

标准化变量

所有的变量都需要进行标准化。该算法不知道每个变量的尺度是什么。换句话说，温度一栏中的73的值看起来会比前一小时的千瓦时使用量中的0.3占优势，因为实际值是如此不同。sklearn的预处理模块中的StandardScaler()将每个变量的平均值去除，并将其标准化为单位方差。当模型在按比例的数据上进行训练时，模型就会决定哪些变量更有影响力，而不是由任意的比例/数量级来预先决定这种影响力。

训练SVR模型

将模型拟合训练数据!

1.   SVR_model = svm.SVR(kernel='rbf',C=100,gamma=.001).fit(X_train_scaled,y_train)
2.   print 'Testing R^2 =', round(SVR_model.score(X_test_scaled,y_test),3)

预测和测试

计算下一小时的预测（预测！）我们预留了一个测试数据集，所以我们将使用所有的输入变量（适当的缩放）来预测 "Y "目标值（下一小时的使用率）。

1.    
2.   # 使用SVR模型来计算预测的下一小时使用量
3.   SVRpredict(X_test_scaled)
4.    
5.   # 把它放在Pandas数据框架中，以便于使用
6.   DataFrame(predict_y)
7.    

绘制测试期间的实际和预测电力需求的时间序列。

1.    
2.   # 绘制预测值和实际值
3.    
4.   plt.plot(index,y_test_df,color='k')
5.   plt.plot(predictindex,predict_y)

重新取样的结果为每日千瓦时

1.    
2.   ### 绘制测试期间的每日总千瓦时图
3.    
4.    
5.   y_test_barplot
6.   ax.set_ylabel('每日总用电量（千瓦时）')
7.    
8.   # Pandas/Matplotlib的条形图将x轴转换为浮点，所以需要找回数据时间
9.   ax.set_xticklabels([dt.strftime('%b %d') for dt in

误差测量

以下是一些精度测量。

len(y_test_df)

均方根误差

这实际上是模型的标准误差，其单位与预测变量（或这里的千瓦时）的单位相同。

calcRMSE(predict_y, y_test_df)

平均绝对百分比误差

用这种方法，计算每个预测值和实际值之间的绝对百分比误差，并取其平均值；计量单位是百分比。如果不取绝对值，而模型中又没有什么偏差，你最终会得到接近零的结果，这个方法就没有价值了。

errorsMAPE(predict_y, y_test_df)

平均偏置误差

平均偏差误差显示了模型的高估或低估情况。初始SVM模型的平均偏差误差为-0.02，这表明该模型没有系统地高估或低估每小时的千瓦时消耗。

calcMBE(predict_y, y_test_df)

变异系数

这与RMSE类似，只是它被归一化为平均值。它表明相对于平均值有多大的变化。

这与RMSE类似，只是它被归一化为平均值。它表明相对于平均值有多大的变化。

1.    
2.   plot45 = plt.plot([0,2],[0,2],'k')

---

最受欢迎的见解

1.在python中使用lstm和pytorch进行时间序列预测

2.python中利用长短期记忆模型lstm进行时间序列预测分析

3.使用r语言进行时间序列（arima，指数平滑）分析

4.r语言多元copula-garch-模型时间序列预测

5.r语言copulas和金融时间序列案例

6.使用r语言随机波动模型sv处理时间序列中的随机波动

7.r语言时间序列tar阈值自回归模型

8.r语言k-shape时间序列聚类方法对股票价格时间序列聚类

9.python3用arima模型进行时间序列预测

标签：elec,python,模型,tecdat,序列,train,拓端,test,2014
来源： https://www.cnblogs.com/tecdat/p/15378665.html

本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享；
2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关；
3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关；
4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除；
5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。