2.3 Hadamard 乘积，$s \odot t$

反向传播算法基于常规的线性代数运算 —— 诸如向量加法，向量矩阵乘法等。但是有一个运算不大常见。特别地，假设 $s$ 和 $t$ 是两个同样维度的向量。那么我们使用 $s\odot t$ 来表示按元素的乘积。所以 $s\odot t$ 的元素就是 $(s\odot t)_j = s_j t_j$。给个例子，

$\begin{eqnarray} \left[\begin{array}{c} 1 \\ 2 \end{array}\right] \odot \left[\begin{array}{c} 3 \\ 4\end{array} \right] = \left[ \begin{array}{c} 1 * 3 \\ 2 * 4 \end{array} \right] = \left[ \begin{array}{c} 3 \\ 8 \end{array} \right] \label{eq:28}\tag{28} \end{eqnarray}$

这种类型的按元素乘法有时候被称为 Hadamard 乘积，或者 Schur 乘积。我们这里取前者。好的矩阵库通常会提供 Hadamard 乘积的快速实现，在实现反向传播的时候用起来很方便。