是的 OpenGL 在内部使用 4x4 uniform transform matrices。但是glRotate API 使用 4 个参数而不是 3 个：
glMatrixMode(GL_MODELVIEW);
glRotatef(angle,x,y,z);
它将围绕点(0,0,0) 和轴[(0,0,0),(x,y,z)] 将选定的矩阵旋转角度angle [deg]。如果您需要围绕特定点旋转(x0,y0,z0)，那么您还应该翻译：
glMatrixMode(GL_MODELVIEW);
glTranslatef(+x0,+y0,+z0);
glRotatef(angle,x,y,z);
glTranslatef(-x0,-y0,-z0);
这是旧的 API 但是在使用现代 GL 时，您需要自己做矩阵的东西（例如使用 GLM ) 因为没有矩阵堆栈了。 GLM 应该具有与glRotate 相同的功能，只需找到模仿它的功能即可（看起来glm::rotate 或多或少相同）。如果没有，您仍然可以使用 Rodrigues rotation formula 自行完成。
现在你的例子对我来说毫无意义：
(5,0,0) -> glm::rotate (0,1,0) -> (-5,0,0)
意味着围绕y 轴旋转180 度数？好吧，我可以看到轴，但在任何地方都看不到角度。第二个（你想要的 API）更值得怀疑：
(4,0,0) -> wanted API -> (3,0,0)
向量在旋转后应该具有相同的幅度，这显然不是这种情况（除非您想围绕(0,0,0) 以外的某个点旋转，这也没有提到。此外，在旋转之后，通常您会将一些幅度泄漏到其他轴你的y,z 都是零，这仅在特殊情况下是正确的（旋转 90 度的倍数时）。
很明显，您忘记提及重要信息或不知道轮换的工作原理。
现在你想在X,Y,Z 箭头上旋转是什么意思？想要在按键上进行增量旋转？或者在您的场景中呈现类似箭头的 GUI 并且想要选择它们并在它们被拖动时旋转？
[Edit1] 新示例
我想要一个 API，这样我就可以将 vec3(0,4,0) 旋转 180 deg 并得到结果
将是vec3(3,0,0)
只有当你谈论的是点而不是向量时，这才是可行的。所以你需要旋转中心和旋转轴和角度。
// knowns
vec3 p0 = vec3(0,4,0); // original point
vec3 p1 = vec3(3,0,0); // wanted point
float angle = 180.0*(M_PI/180.0); // deg->rad
// needed for rotation
vec3 center = 0.5*(p0+p1); // vec3(1.5,2.0,0.0) mid point due to angle = 180 deg
vec3 axis = cross((p1-p0),vec3(0,0,1)); // any perpendicular vector to `p1-p0` if `p1-p0` is parallel to (0,0,1) then use `(0,1,0)` instead
// construct transform matrix
mat4 m =GLM::identity(); // unit matrix
m = GLM::translate(m,+center);
m = GLM::rotate(m,angle,axis);
m = GLM::translate(m,-center); // here m should be your rotation matrix
// use transform matrix
p1 = m*p0; // and finaly how to rotate any point p0 into p1 ... in OpenGL notation
我没有在 GLM 中编码，因此可能会有一些小的差异。