谢赛宁团队用一种RAE的新架构，将ImageNet图像生成FID（评估生成图像质量的指标）刷到了1.13，直接宣告了沿用多年的VAE组件的过时。

存在 10 多年后，VAE（变分自编码器）时代终于要淘汰了吗？ 就在今天，纽约大学助理教授谢赛宁团队放出了新作 ——VAE 的替代解决方案 ——RAE（Representation Autoencoders，表征自编码器）。 他表示，三年前，DiT（Diffusion Transformer） 用基于 Transformer 的去噪骨干 ...

港科大团队重磅开源 VideoVAE+，提出了一种强大的跨模态的视频变分自编码器（Video VAE），通过提出新的时空分离的压缩机制和创新性引入文本指导，实现了对大幅运动视频的高效压缩与精准重建，同时保持很好的时间一致性和运动恢复。 VideoVAE + 模型大幅超过 ...

针对 VQ-VAE 在欧氏和球面隐空间的局限，研究人员开展双曲空间几何先验对其学习能力提升的研究。提出 HVQ-VAE，使隐嵌入和码本在双曲庞加莱球学习。实验表明其图像重建更优、码本利用高效、收敛快，在低维隐空间表现更佳。 论文解读 在人工智能的图像生成 ...

本研究针对文化遗产保护中传统巴厘面具三维数据缺失问题，开发了包含27类面具的BaliMask3D数据集。通过360度摄影测量法获取高精度三维模型，结合VQ-VAE（矢量量化变分自编码器）和SDFusion（符号距离场融合）技术实现破损文物的三维补全，平均Uniform Hausdorff ...