1.向量的外积
存在三个向量：
将三个向量相乘：
其作用是：大大地降低了参数的维度。（将一个十二维的矩阵换为三个小维度的矩阵）
2.张量内积
已知两个张量：
和
则两个张量的内积可以表示为：
3.张量积（直积）
张量积（积张量）：有两个任意阶张量，第一个张量的每一个分量乘以第二个张量中的每一个分量，它们组合的集合仍然是一个张量，称为第一个张量乘以第二个张量的乘积。
张量积的阶数等于因子张量阶数之和。
例如：
a
i
b
j
k
=
c
i
j
k
a_ib_{jk} = c_{ijk}
aibjk=cijk
则：
4.Kronecker乘积（Kronecker Product）
Kronecker乘积定义在两个矩阵
A
∈
R
I
×
J
A\in R^{I\times J}
A∈RI×J,
B
∈
R
K
×
L
B\in R^{K\times L}
B∈RK×L的运算：
举个例子：
5.Hadamard乘积（Hadamard Product）
Hadamard乘积定义在两个相同大小的矩阵
A
∈
R
I
×
J
A\in R^{I\times J}
A∈RI×J,
B
∈
R
I
×
J
B\in R^{I\times J}
B∈RI×J的运算：
6.Khatri-Rao乘积（Khatri-Rao Product）
Khatri-Rao乘积定义了两个相同列数的矩阵
A
∈
R
I
×
K
A\in R^{I\times K}
A∈RI×K,
B
∈
R
J
×
K
B\in R^{J\times K}
B∈RJ×K的运算：
其演示图为：
举个例子：
即：
个人思考：
张量的乘积与矩阵的乘积还是部分相对应的，其具体的物理意义可能再后面运用中才慢慢展现。