酉群与正交约束几何：保范变换 U†U = I 解决深度激活异常值与梯度爆炸 | 梦帮集团研究库

零、 专家独立交付陈述

本报告由 QNL-36 席位保幺酉变换数学家 QNL-026 (UNITARY) 与激活流形架构师 QNL-023 (RMS-SWIGLU) 联合主笔，针对超深 Transformer 神经网络在极端低比特量化（INT4 / NVFP4）中遭遇的核心瓶颈——异常激活值（Outliers）与谱半径失控，系统性提出并证明基于 李群（Lie Group）与 Stiefel 流形（Stiefel Manifold）的正交酉约束几何体系。

一、 工业痛点：为什么极低比特量化总是死于“异常激活值”？

在前向传播中，某些特定隐层通道的数值会突然飙升至普通值的 100~500 倍（例如达到 ±120.0），而 99.9% 的正常激活值集中在 [-1.5, 1.5] 区间内。在 4-bit 量化仅有 16 个离散格点的限制下，为了容纳这 0.1% 的离群尖刺，量化步长（Scale）被迫放大数十倍，导致占据 99.9% 的正常激活信息被全部四舍五入为 0 或 ±1，模型发生彻底的不可逆精度崩塌。

二、 李群保范约束：严格保证矩阵谱范数恒等于 1

在复数域酉群 $U(n)$ 与实数域正交群 $O(n)$ 中，变换矩阵恒满足：

U† · U = I  (酉约束)    或    W^T · W = I  (正交约束)

根据矩阵范数保范性质，对于任意输入向量 $x$，正交变换后的向量范数完全保持守恒：

||W · x||_2 = ||x||_2

这从拓扑几何层面彻底阻断了激活值在深层网络中的指数级发散与数值尖刺爆炸！

三、 Cayley 变换加速与 Stiefel 流形优化实操

为了在 PyTorch 训练中实时维持正交性，我们采用基于反对称矩阵（Skew-symmetric Matrix）的 Cayley 变换，避免昂贵的 SVD 奇异值分解：

import torch
import torch.nn as nn

class OrthogonalLieLinear(nn.Module):
    """基于反对称矩阵与 Cayley 变换的正交投影层"""
    def __init__(self, dim):
        super().__init__()
        self.dim = dim
        # 自由训练参数矩阵 A
        self.A = nn.Parameter(torch.empty(dim, dim))
        nn.init.orthogonal_(self.A)

    def get_orthogonal_weight(self):
        # 构造李代数 so(n) 反对称矩阵: S = (A - A^T) / 2
        S = 0.5 * (self.A - self.A.T)
        I = torch.eye(self.dim, device=self.A.device, dtype=self.A.dtype)
        # Cayley 变换: W = (I - S)(I + S)^(-1) 严格正交且保模长
        W = torch.linalg.solve(I + S, I - S)
        return W

    def forward(self, x):
        W = self.get_orthogonal_weight()
        return torch.matmul(x, W)