Tag: transformer

技术分享·

Transformer(6) - LayerNorm

拿一个四维向量手算 LayerNorm:按哪一维统计,减均值、除标准差各在做什么,γ 和 β 怎么用,以及它在 Transformer 里的位置。