关于A = square(relu(qk / seq_len + bias))

[ShomyLiu]

你好，非常感谢您用PyTorch复现Flash-Quad，我对这个模型也很感兴趣， 有几个小问题，想讨论下：

• A = square(relu(qk / seq_len + bias))， 这里的seq_len是不是用当前batch的length更合适，代码中https://github.com/JunnYu/FLASHQuad_pytorch/blob/main/flash/gau.py#L117 用的是预设的max_length(如512 ). 不同batch 的序列长度可能是不同的。
• 您有在不同任务上对比过GAU与Transformer的性能吗 我这边试了几个序列建模任务，发现性能会下降，可能训练超参数差异？

谢谢

[JunnYu]

你可以改成batch里面的seqlen试试。我之前试过然后发现模型的输出结果不对劲，于是就改成了max length。我在预训练的时候seqlen基本都是512，也就是说模型只见过512这一个长度，而如果做别的短句子的任务时候，可能seqlen为几十或者一百多，模型都没见过，然后效果不知道为啥不咋行

[JunnYu]

还有我发现我这个预训练的small权重效果不太行，不知道原论文在embedding处用了dropout没，用了layernorm还是scalenorm。最主要的一个疑惑也就是你提出的那个部分，我不太清楚模型的这个细节有没有实现错

[JunnYu]

改成seqlen的输出：

pytorch: 天气预报说今天的天[台+0.2037||的+0.0798||定+0.0446||好+0.0422||以+0.0386]很好，那么我[大+0.1093||的+0.0697||本+0.0629||以+0.0559||一+0.0518]一起去公园玩吧！

使用max_length的输出：

pytorch: 天气预报说今天的天[气+0.9948||空+0.0011||色+0.0007||候+0.0004||势+0.0003]很好，那么我[就+0.4915||们+0.4186||也+0.0753||还+0.0021||都+0.0016]一起去公园玩吧！

[aoom]

改成seqlen的输出：

pytorch: 天气预报说今天的天[台+0.2037||的+0.0798||定+0.0446||好+0.0422||以+0.0386]很好，那么我[大+0.1093||的+0.0697||本+0.0629||以+0.0559||一+0.0518]一起去公园玩吧！

使用max_length的输出：

pytorch: 天气预报说今天的天[气+0.9948||空+0.0011||色+0.0007||候+0.0004||势+0.0003]很好，那么我[就+0.4915||们+0.4186||也+0.0753||还+0.0021||都+0.0016]一起去公园玩吧！

谢谢分享，从结果上看max_length的效果更好！

[ShomyLiu]

谢谢回复分享结果，看结果貌似max的确合理很多。 比较奇怪～我也再测试下，不同设置下的结果，到时候贴出来看看。

我这边主要是用GAU部分 来替代self-attention 和 FNN来做序列建模任务，并不是语料预训练的MLM任务， 目前基本上没有提升。 而且发现，学习率对模型效果影响蛮大的, 波动很明显，可能也是因为数据集的原因。

[ShomyLiu]

Hi, 还有个小问题，关于文章中的RoPE要用到GAU单元内部呢，一般位置向量不是直接融合到最开始的Embedding模块吗？ 这里有什么原因吗？

[JaheimLee]

那直接让qk / attention_mask.sum(-1)[:, None, None]是不是思路上更合适一些

[ShomyLiu]

Hi, 还有个小问题，关于文章中的RoPE要用到GAU单元内部呢，一般位置向量不是直接融合到最开始的Embedding模块吗？ 这里有什么原因吗？

又回头看了看Rope大概知道了～ 通过在q,k中用RoPE 能够体现相对位置编码

[JaheimLee]

看了苏神的代码,他的l确实是从mask那来的,而且放在了激活函数的外部.
https://github.com/bojone/bert4keras/blob/8bf47989488009c2b8f68c20a97000fb96e07f9b/bert4keras/layers.py#L583

[JunnYu]

原论文是这样实现的，苏神后来改了一下，修改了一下缩放的地方

[ShomyLiu]

大概说一下，在我们的序列建模任务上，Flash-Quad的效果总是比Transformer还是低1-2个点。调了很长时间，一直上不去，而且收敛也慢。

[JunnYu]

我也感觉当前实现的效果不太行，因此还是要等官方代码放出来才知道他里面的一些细节到底怎么处理的，比如A = square(relu(qk / seq_len + bias))这个部分的代码。

[ShomyLiu]

是呀，我这边也是测试了不少模块，从最开始的严格按照论文和伪代码，到自己改动改动，最终结果都还是比不上Transformer，可能是GAU的通用性没有那么强。

[JaheimLee]

是呀，我这边也是测试了不少模块，从最开始的严格按照论文和伪代码，到自己改动改动，最终结果都还是比不上Transformer，可能是GAU的通用性没有那么强。

有尝试把仿射变换改回全连接吗,总感觉这个操作有点神奇

[ShomyLiu]

这个还没，我测试一下，而且比较奇怪的地方是，文章也没有用dropout；