根据权重和偏差选择神经元

【问题标题】：Select neuron based on weights and bias根据权重和偏差选择神经元
【发布时间】：2018-05-07 16:24:16
【问题描述】：

在一个有 2048 个神经元的密集层中，每个神经元都与前一层输出相连：

y = w1*x1 + w2*x2 + .......... + w128*x128

所以总共 (128*2048) = 262144 个参数和 2048 个偏置向量总共 264192 (262144 + 2048) 个参数。

我需要从 2048 个中选择得分最高的神经元（或前 x 个神经元）。我应该如何做出决定？

更新：我得到了上面的形状：128 * 2048 个连接和 2048 个偏差。我需要在 2048 个神经元中找到最有影响力的神经元。我想我应该考虑所有 128 个权重和每个神经元的偏差，但我不确定应该如何计算最大值。所有重量的总和？那么偏见呢？

【问题讨论】：

【解决方案1】：

假设你的结果张量形状为res.shape = [batch_size, 2048]：

np.argmax(res, axis=-1)

np.argpartition(res, -K, axis=-1)[:,-K:]

【讨论】：

我需要权重最高的神经元，而不是最高激活的神经元。我的问题是我应该只考虑权重还是同时考虑偏差？
我很抱歉。然后你能和我分享你对“最高分”/“最高权重”的定义吗？因为权重通常采用矩阵的形式，所以偏差通常表示为向量。
我得到了上面的形状：128 * 2048 个连接和 2048 个偏差。我需要在 2048 个神经元中找到最有影响力的神经元。我想我应该考虑所有 128 个权重和每个神经元的偏差，但我不确定应该如何计算最大值。所有重量的总和？那么偏见呢？