該辦法還集成了一個 。然后大幅下降Transformer的運算量。
token-shuffle操作，http://www.czxtv.com也不引进辅佐丢失函数或需求额定预练习的编码器 。
文本对齐 。
比方 ，右侧:不同r值下的预练习丢失（对数刻度困惑度） 。削减视觉token数量 ，无需额定预练习文本编码器 ，
本质上，Token-Shuffle有望成为基准规划方案 。Token-Shuffle作为一个纯自回归模型 ，在大约20K次迭代后呈现练习不安稳现象 。操作从头复原出本来的空间摆放进程