Stability AI发布了最新的文本到图像AI模型Stable Diffusion 3，标志着生成式AI领域快速发展中的一项重大进步。这款新模型在图像质量、文本渲染以及理解复杂提示词的能力方面都实现了令人印象深刻的提升，同时还更加节省资源。
Stable Diffusion 3不仅仅是一次渐进式的升级。它引入了一种名为多模态扩散Transformer (MMDiT)的突破性架构，代表着AI处理文本并从中生成图像方式的一次范式转变。
Stable Diffusion 3 的新特性？
- 增强的图像质量： Stable Diffusion 3 生成的图像在视觉上更具吸引力，更加逼真，其质量可以与专业艺术家创作的作品相媲美。
- 卓越的排版： 最引人注目的改进之一是该模型能够在图像中生成清晰易读的文本，这对于之前的AI模型来说是一项出了名的难题。
- 更深入的提示词理解： 用户现在可以编写高度具体和细致的提示词，而Stable Diffusion 3 将准确地把他们的设想转化为惊艳的视觉效果。
- 资源效率： 尽管功能增强，Stable Diffusion 3 的设计却更加高效，所需的处理能力和内存更少，从而使其对更广泛的受众更具可访问性。
Stable Diffusion 3 的工作原理？
Stable Diffusion 3 背后的奥秘在于其创新的MMDiT架构。这个新系统为图像和语言数据采用了独立的权重集，使AI能够更好地理解和独立处理文本和视觉信息。这种关注点分离的设计使得两者之间能够进行更复杂的交互，从而生成不仅在视觉上令人惊艳，而且还能准确反映输入文本的图像。
Stable Diffusion 3：超越竞争对手
Stability AI 进行了广泛的人工偏好评估，将 Stable Diffusion 3 与其他领先的文本到图像模型（如 DALL·E 3、Midjourney v6 和 Ideogram v1）进行了比较。结果不言自明：在图像质量、提示词遵循度和排版方面，Stable Diffusion 3 始终与竞争对手的表现一样好，甚至更好。
Stable Diffusion 3：生成示例
面向未来的扩展
Stability AI 还进行了全面的扩展研究，使用不同数量的参数训练 Stable Diffusion 3 模型。结果表明，随着模型尺寸的增大，性能会持续明显地提高，这表明该技术在未来具有更大的潜力。
许可和可用性
Stable Diffusion 3 目前已根据 Stability 非商业研究社区许可证发布，允许免费用于学术研究和个人项目等非商业用途。专业艺术家、设计师和企业可以通过 Stability AI 获得商业许可。
Stable Diffusion 3：尺寸和版本
公开发布并可供下载：
- SD3 Medium – 拥有 20 亿参数的模型，可在以下网址下载：https://huggingface.co/stabilityai/stable-diffusion-3-medium
仅通过Stability AI API提供
- SD3 Large – 拥有 80 亿参数的模型
- SD3 Large Turbo – 拥有 80 亿参数，且推理时间更快的模型
AI 图像生成的未来
Stable Diffusion 3 不仅仅是一项技术突破，它还是对未来创造力的一次展望。凭借其先进的功能和用户友好的设计，该模型有潜力彻底改变我们创建视觉内容和与之互动的方式。从突破艺术界限的专业艺术家，到将他们最疯狂的想象变为现实的个人，Stable Diffusion 3 有望普及和重新定义图像生成的格局。
资源
- Stable Diffusion 3 Medium 代码库：https://huggingface.co/stabilityai/stable-diffusion-3-medium
- 研究论文：https://arxiv.org/pdf/2403.03206