Theano 实例：线性回归
基本模型
在用 theano 进行线性回归之前，先回顾一下 theano 的运行模式。
theano 是一个符号计算的数学库，一个基本的 theano 结构大致如下：
- 定义符号变量
- 编译用符号变量定义的函数，使它能够用这些符号进行数值计算。
- 将函数应用到数据上去
In [1]:
%matplotlib inline
from matplotlib import pyplot as plt
import numpy as np
import theano
from theano import tensor as T
Using gpu device 0: GeForce GTX 850M
简单的例子：\(y = a \times b, a, b \in \mathbb{R}\)
定义 \(a, b, y\)：
In [2]:
a = T.scalar()
b = T.scalar()
y = a * b
编译函数：
In [3]:
multiply = theano.function(inputs=[a, b], outputs=y)
将函数运用到数据上：
In [4]:
print multiply(3, 2) # 6
print multiply(4, 5) # 20
6.0
20.0
线性回归
回到线性回归的模型，假设我们有这样的一组数据：
In [5]:
train_X = np.linspace(-1, 1, 101)
train_Y = 2 * train_X + 1 + np.random.randn(train_X.size) * 0.33
分布如图：
In [6]:
plt.scatter(train_X, train_Y)
plt.show()
定义符号变量
我们使用线性回归的模型对其进行模拟： \(\(\bar{y} = wx + b\)\)
首先我们定义 \(x, y\)：
In [7]:
X = T.scalar()
Y = T.scalar()
可以在定义时候直接给变量命名，也可以之后修改变量的名字：
In [8]:
X.name = 'x'
Y.name = 'y'
我们的模型为：
In [9]:
def model(X, w, b):
return X * w + b
在这里我们希望模型得到 \(\bar{y}\) 与真实的 \(y\) 越接近越好，常用的平方损失函数如下： \(\(C = |\bar{y}-y|^2\)\)
有了损失函数，我们就可以使用梯度下降法来迭代参数 \(w, b\) 的值，为此，我们将 \(w\) 和 \(b\) 设成共享变量：
In [10]:
w = theano.shared(np.asarray(0., dtype=theano.config.floatX))
w.name = 'w'
b = theano.shared(np.asarray(0., dtype=theano.config.floatX))
b.name = 'b'
定义 \(\bar y\)：
In [11]:
Y_bar = model(X, w, b)
theano.pp(Y_bar)
Out[11]:
'((x * HostFromGpu(w)) + HostFromGpu(b))'
损失函数及其梯度：
In [12]:
cost = T.mean(T.sqr(Y_bar - Y))
grads = T.grad(cost=cost, wrt=[w, b])
定义梯度下降规则：
In [13]:
lr = 0.01
updates = [[w, w - grads[0] * lr],
[b, b - grads[1] * lr]]
编译训练模型
每运行一次，参数 \(w, b\) 的值就更新一次：
In [14]:
train_model = theano.function(inputs=[X,Y],
outputs=cost,
updates=updates,
allow_input_downcast=True)
将训练函数应用到数据上
训练模型，迭代 100 次：
In [15]:
for i in xrange(100):
for x, y in zip(train_X, train_Y):
train_model(x, y)
显示结果：
In [16]:
print w.get_value() # 接近 2
print b.get_value() # 接近 1
plt.scatter(train_X, train_Y)
plt.plot(train_X, w.get_value() * train_X + b.get_value(), 'r')
plt.show()
1.94257426262
1.00938093662
