Ilya不雅点得证！仅靠量度下token原生多模态，智源发宇宙模子Emu3

梦晨 发自 凹非寺量子位 | 公众号 QbitAI

OpenAI前首席科学家、聚合首创东谈主Ilya Sutskever曾在多个所在抒发不雅点：

只好未必特殊好的量度下一个token，就能匡助东谈主类达到通用东谈主工智能（AGI）。

天然，下一token量度已在大谈话模子规模达成了ChatGPT等冲突，然而在多模态模子中的适用性仍不解确。多模态任务仍然由扩散模子（如Stable Diffusion）和组合方法（如结合 CLIP视觉编码器和LLM）所主导。

2024年10月21日，智源究诘院负责发布原生多模态宇宙模子Emu3。该模子只基于下一个token量度，无需扩散模子或组合方法，即可完成文本、图像、视频三种模态数据的勾通和生成。

Emu3在图像生成、视频生成、视觉谈话勾通等任务中越过了SDXL 、LLaVA、OpenSora等著名开源模子，然而无需扩散模子、CLIP视觉编码器、预闇练的LLM等期间，只需要量度下一个token。

图注：在图像生成任务中，基于东谈主类偏好评测，Emu3优于SD-1.5与SDXL模子。在视觉谈话理罢黜务中，关于12 项基准测试的平均得分，Emu3优于LlaVA-1.6。在视频生成任务中，关于VBench基准测试得分，Emu3优于OpenSora 1.2。

Emu3提供了一个苍劲的视觉tokenizer，未必将视频和图像转机为破裂token。这些视觉破裂token可以与文本tokenizer输出的破裂token一皆送入模子中。与此同期，该模子输出的破裂token可以被转机为文本、图像和视频，为Any-to-Any的任务提供了愈加妥协的究诘范式。而在此前，社区短少这么的期间和模子。

此外，受益于Emu3下一个token量度框架的纯真性，径直偏好优化（DPO）可无缝应用于自记忆视觉生成，使模子与东谈主类偏好保抓一致。

Emu3究诘限度说明，下一个token量度可以四肢多模态模子的一个苍劲范式，达成卓越谈话本人的大限制多模态学习，并在多模态任务中达成先进的性能。通过将复杂的多模态蓄意管理到token本人，能在大限制闇练和推理中开释弘大的后劲。下一个token量度为构建多模态AGI提供了一条远景广博的谈路。

目下Emu3已开源了枢纽期间和模子。（开源模子和代码地址在文末）

Emu3还是上线便在酬酢媒体和期间社区引起了热议。

有网友指出，“这是几个月以来最遑急的究诘，咱们目下特殊接近领有一个贬责所罕有据模态的单一架构。”

“Emu3 是一种特殊新颖的方法（至少在我看来是这么），它有契机将多模态并吞为一，只需将它们都视为token即可。天然还处于初期，但演示成果很可以。念念象一下，咱们可以无穷彭胀视频和生成多种模态。”

以至有网友评价：“也许咱们会赢得一个真实绽放的 OpenAI v2？”

关于Emu3的有趣和影响，有褒贬指出：“Emu3 将透顶窜改多模态AI规模，提供无与伦比的性能和纯真性。”

“Emu3在百行万企的平凡适用性和开源纯真性将为缔造者和企业解锁东谈主工智能立异才气的契机。”

“关于究诘东谈主员来说，Emu3意味着出现了一个新的契机，可以通过妥协的架构探索多模态，无需将复杂的扩散模子与大谈话模子相结合。这种方法相通于transformer在视觉关连任务中的变革性影响。”

“Emu3的妥协方法将带来更高效、更多功能的AI系统，简化多模态AI的缔造和应用以及内容生成、分析和勾通的新可能性。”

“Emu3 改写了多模态东谈主工智能的门径…Emu3 从新界说了多模态AI，展示了简便可以投诚复杂。多模态AI的翌日变得愈加精熟与苍劲。”

成果展示

1. 视觉勾通

Emu3 展现了苍劲的图像及视频的感知才气，未必勾通物理宇宙并提供连贯的文本回话。值得留意的是，这种才气是在不依赖于基础LLM模子和CLIP的情况下达成的。

1.1 图像输入

1.2 视频输入

2. 图像生成

Emu3通过量度下一个视觉token来生成高质地的图像。该模子天然维持纯果真辨认率和不同作风。

3. 视频生成

与使用视频扩散模子以从噪声生成视频的Sora不同，Emu3仅仅通过量度序列中的下一个token来因果性的生成视频。

4. 视频量度

在视频的崎岖文中，Emu3可以天然地彭胀视频并量度接下来会发生什么。模子可以模拟物理宇宙中环境、东谈主和动物。

Emu3期间细节

1 数据

Emu3是在谈话、图像和视频夹杂数据模态上重新开动闇练的。

谈话数据：使用与Aquila模子疏通的谈话数据，一个由中英文数据组成的高质地语料库。

图像数据：构建了一个大型图像文本数据集，其中包括开源聚集数据、AI生成的数据和高质地的里面数据。总共这个词数据集经过了辨认率、图片质地、类型等方面的过滤过程。闇练了一个基于Emu2的图像刻画模子来对过滤后的数据进行标注以构建密集的图像刻画，并应用vLLM库来加快标注过程。

视频数据：网罗的视频涵盖情景、动物、植物和游戏等多个类别。

总共这个词视频贬责历程包括了场景切分、文本过滤、光流过滤、质地评分等阶段。并使用基于图像刻画模子微调赢得的视频刻画模子来对以上过滤后的视频片断打标文本刻画。

2 妥协视觉Tokenizer

在SBER-MoVQGAN的基础上闇练视觉tokenizer，它可以将4×512×512的视频片断或512×512的图像编码成4096个破裂token。它的词表大小为32,768。Emu3的tokenizer在时候维度上达成了4×压缩，在空间维度上达成了8×8压缩，适用于任何时候和空间辨认率。

此外，基于MoVQGAN架构，在编码器妥协码器模块中加入了两个具有三维卷积核的时候残差层，以增强视频token化才气。

3 架构

Emu3保留了主流大谈话模子（即 Llama-2）的聚集架构。不同点在于，其彭胀了Llama-2架构中的镶嵌层，以容纳破裂的视觉token。聚集合使用RMSNorm进行归一化。其还使用了GQA留意力机制、SwiGLU激活函数和一维旋转位置编码（RoPE）等期间，并并去除了留意力模块中QKV层和线性投影层中的偏置。此外，还采纳了0.1的dropout率来擢升闇练的踏实性，使用QwenTokenizer对多谈话文本进行编码。谛视架组成立表。

4 预闇练

在预闇练过程中，领先要界说多模态数据体式。与依赖外部文本编码器的扩散模子不同，Emu3 原生集成了用于生成图像/视频的文本要求信息。在视觉停战话的固有token中新增了五个特殊token来并吞文本和视觉数据，合计闇练过程创建相通文档的输入。生成的闇练数据结构如下：

[BOS] {caption text} [SOV] {meta text} [SOT] {vision tokens} [EOV] [EOS]其中，[BOS] 和 [EOS] 是QwenTokenizer中的原始特殊token 。

稀薄新增的特殊token包括：

[SOV]示意视觉输入（包含图像和视频的meta信息部分）的开动[SOT]示意视觉token的开动[EOV]示意视觉输入的扫尾。此外，特殊token [EOL] 和 [EOF] 四肢换行符和换帧符插入到了视觉token中。元文本包含图像的辨认率信息，视频则包括辨认率、帧率和抓续时候，均以纯文实质式呈现。在构建勾通数据时，Emu3将部分数据中的 “caption text”字段移至[EOV] token之后。

闇练方针：由于 Emu3 中的视觉信号已皆备转机为破裂token，因此只需使用模范的交叉熵耗损进行下一个token量度任务的闇练。为了驻扎视觉token在学习过程中占据主导地位，对与视觉token关连的耗损加权 0.5。

闇练细节：Emu3 模子在预闇练期间应用特殊长的崎岖文长度来贬责视频数据。 为便于闇练，采纳了张量并行（TP）、崎岖文并行（CP）和数据并行（DP）相结合的方法。同期将文本和图像数据打包成最大崎岖文长度，以充分应用计较资源，同期需要确保在打包过程中不会分割完好的图像。

预闇练过程分为两个阶段，第一阶段不使用视频数据，闇练从零开动，文本和图像数据的崎岖文长度为 5,120；在第二阶段，引入视频数据，并使用 131,072 的崎岖文长度。

5 SFT阶段

5.1 视觉生成

质地微调：在预闇练阶段之后，对视觉生成任务进行后闇练，以擢升生成输出的质地。使用高质地数据进行质地微调。

径直偏好优化：Emu3在自记忆多模态生成任务中采纳径直偏好优化（Direct Preference Optimization，DPO）期间，应用东谈主类偏好数据来擢升模子性能。

5.2 视觉谈话勾通

预闇练模子经过两个阶段的视觉谈话勾通明闇练过程：1) 图像到文本的闇练以及 2) 教唆调停。

第一阶段：将图像勾通数据与纯谈话数据整合在一皆，而与视觉token关连的耗损则在纯文本量度中被忽略。

第二阶段：应用 LLaVA 数据聚会的约 320 万个问答对进行教唆微调。低于 512 × 512 或高于 1024 × 1024 的图片将被调停到较低或较高的辨认率，同期保抓相应的长宽比，而其他图片则保抓原始辨认率。

开源地址

除了先前经SFT的Chat模子和生成模子外，智源究诘院还在近日开源了Emu3生成和勾通一体的预闇练模子以及相应的SFT闇练代码，以便后续究诘和社区构建与集成。

代码：https://github.com/baaivision/Emu3时势页面：https://emu.baai.ac.cn/模子：https://huggingface.co/collections/BAAI/emu3-66f4e64f70850ff358a2e60f

翌日标的

Emu3为多模态AI指出了一条裕如念念象力的标的，有契机将AI基础法子管理到单一期间道路上，为大限制的多模态闇练和推理提供基础。妥协的多模态宇宙模子翌日有平凡的潜在应用，包括自动驾驶、机器东谈主大脑、智能眼镜助手、多模态对话和推理等。量度下一个token有可能通往AGI。