LR怎么并行的

梯度下降怎么并行的？

mini-batch Gradient Descent

并行化SGD

LR怎么并行的？

按行并行

将数据按行（样本）划分到多个机器，每个机器负责计算部分样本，最后相加。

按列并行

将数据按列（特征）进行划分，每个机器负责计算部分特征，将不同机器计算结果相加。

假设M个样本，每个样本N个特征。

1. 按行将样本进行划分，每个计算节点分配M/m个样本；

2. 按列对特征向量进行切分，每个节点上的特征向量分配N/n维特征。

划分过程如下：

计算过程：

首先对同行节点的数据，分别计算不同的列，归并得到对应样本的计算结果，在按行计算。

references：

https://blog.csdn.net/qq_32742009/article/details/81839071