|
|
@@ -365,6 +365,15 @@ $$
|
|
|
|
|
|
###### MPI+OpenMP设计
|
|
|
|
|
|
+对于上面公式的矩阵乘加计算，使用增广矩阵形式，化为矩阵乘。
|
|
|
+$$
|
|
|
+i_t=\text{sigmoid}(W_{ii}x_t+W_{hi}h_{(t-1)})\\
|
|
|
+f_t=\text{sigmoid}(W_{if}x_t+W_{hf}h_{(t-1)})\\
|
|
|
+g_t=\text{tanh}(W_{ig}x_t+W_{hc}h_{(t-1)})\\
|
|
|
+o_t=\text{sigmoid}(W_{io}x_t+W_{ho}h_{(t-1)})\\
|
|
|
+c_t=f_t\cdot c_{(t-1)}+i_t\cdot g_t\\
|
|
|
+h_t=o_t\cdot \text{tanh}(c_t)
|
|
|
+$$
|
|
|
对于LSTM的各个时间点的计算，使用MPI分配在不同的节点上，使用流水化设计，节点间只需传输$h_t,c_t$
|
|
|
|
|
|
对于LSTM的一个时间点内的计算，考虑在同一个节点上使用MPI分为$i_t,f_t,g_t,o_t$4个部分计算，需要广播$x_t$
|
