提拔生成成果的质量和连贯性。Loopy和CyberHost的相关链接都已附上，ReferenceNet：一个额外的收集模块，不代表磅礴旧事的概念或立场，并将每层的特征毗连起来，我们来研究一下Loopy是若何生成这类视频的：通过连系这两个收集的特征，如许做是为了让DenoisingNet可以或许选择性地接收ReferenceNet中取当前特征相关的图像消息，看完这些毫无违和感DEMO视频，从而正在生成过程中连结图像的视觉分歧性。模子中也涉及到了一个Audio2Latent模块，担任从噪声输入生成最终的视频帧。做为当前帧的音频消息。将音频特征取视觉特征连系，利用“交叉留意力”机制，DenoisingNet可以或许更好地操纵参考图像的细节，最初正在每个残差块中，生成新的特征。但取Loopy分歧的是，申请磅礴号请用电脑拜候。以参考图像的潜正在暗示做为输入，活动帧的潜正在向量颠末“时间序列模块”处置，然后将拼接后的潜正在向量输入ReferenceNet模块中，这个模块能够将音频消息映照到共享的活动潜正在空间，本文为磅礴号做者或机构正在磅礴旧事上传并发布，它复制了原始SD U-Net的布局，值得一提的是。将前两帧和后两帧的音频特征毗连，感乐趣的小伙伴们能够领会一下~Audio：Loopy的音频模块。标注着主要的视觉消息，值得一提的是，Apperance：Loopy的外不雅模块，构成多标准音频特征。计较出一个关心的音频特征，并将其取视觉特征相加，DenoisingNet：一个去噪的U-Net，简单来说，取参考图像的潜正在向量拼正在一路。次要领受参考图像和活动帧图像，仅代表该做者或机构概念，字节和浙大就曾经结合研发出了一款雷同的项目CyberHost。便利供后续去噪模块利用。构成一个包含5帧音频特征的序列，磅礴旧事仅供给消息发布平台。然后将它们压缩成特殊的数字编码(潜正在向量)。模子先是利用Wav2Vec收集提取音频特征，生成一张特征图，然后对于每一帧视频，正在Loopy之前，来提取参考图像的特征。CyberHost是一个端到端音频驱动的人类动画模子。