Back

GLM-5.2 是如何在网页设计上击败 Fable 5 的【译】

GLM-5.2 在 Design Arena 的单轮 HTML 网页设计评估中荣登榜首,击败了长期霸榜的 Claude Fable 5 模型。

模型 AI
Design Arena
5 分钟阅读

原文链接: https://notes.designarena.ai/how-glm-5-2-beat-fable-5-at-website-design/

Design Arena 的单轮 HTML 网页设计(非 Agent 模式)评估中,GLM-5.2 荣登总榜第一名,比上一代 GLM-5.1 提升了 5 个名次。击败了 Claude Fable 5、Opus 4.6 和 Opus 4.7

该系列模型在 Design Arena 排行榜上已连续数月占据榜首,在两两对战中赢得的场次比其他任何模型都多。

这是首个达成此成就的开源模型,并采用了 MIT 开源协议

尤为令人印象深刻的是,Z.ai 在不具备视觉能力的情况下,用一个与 GLM-5.1 大小相同(拥有 7440 亿参数)的模型就取得了这样的成绩。而据推测,其最接近的竞争对手的模型体量可能是它的 6.7 倍。

Design Arena 排行榜

GLM-5.2 还相当便宜:每 100 万 token 的价格仅为 $1.40 / $4.40,而 Claude Fable 5 的价格为 $10 / $50。

GLM-5.2 与 Claude Fable 5 价格对比

当然,GLM-5.2 并非在所有任务上都超越了 Fable 5。在游戏开发、数据可视化和 3D 设计排行榜上,它位列第二,仅次于 Fable 5。在 UI 组件排行榜上,它位列第四。

GLM-5.2 生成的网页究竟发生了什么变化?

为了回答这个问题,我们对 GLM-5.2 的单轮部署进行了逐一分析,并观察其优化是如何提升其在前端编码任务中的表现的。这不仅能让我们确定哪些优化最有效,还能让我们找出该模型避开了哪些错误案例。

最核心的结论是:GLM-5.2 避开了大多数 AI 模型都无法处理的常见错误案例,能生成更复杂的网站,并且专注于设计更符合用户偏好的结构

输出结果似乎采用了一套精美的初始模板

通过对比 GLM-5.2 和 Fable 5 随机生成的 1000 个网站,我们就能发现一些端倪。

我们对每个生成的网站进行截图并按相似度进行归类,从而观察模型是否会针对不同的 prompt 产生相似的设计。下面是 GLM-5.2 的可视化聚类图。

GLM-5.2 生成网页的相似度聚类分布图

如果放大来看,我们会发现,即使 prompt 截然不同,GLM-5.2 也倾向于生成高度模板化且相似的结果。

GLM-5.2 生成的相似模板网页示例一

GLM-5.2 生成的相似模板网页示例二

GLM-5.2 生成的相似模板网页示例三

这对于前沿模型来说是正常现象,这是模型架构、训练数据等多重因素共同作用的结果。虽然在日常使用和随机活动中这些模板并不显眼,但当把它们汇总并进行对比时,规律就显现出来了。

GLM-5.2 的不同之处在于,它所使用的模板表现明显优于其他前沿模型,这使得它能够超越许多同行,因为它的模板中不包含像早期 AI 模型中泛滥的“紫色渐变”这样的反模式。

相比之下,Fable 5 的输出分布要比 GLM-5.2 更分散。我们很难像在 GLM-5.2 中那样找到完全一致的模板。

Fable 5 生成网页的相似度聚类分布图

这说明 Fable 5 是一个更具通用性的模型,能产生更多元化、差异更明显的输出。

Fable 5 多元化网页设计示例一

Fable 5 多元化网页设计示例二

Fable 5 多元化网页设计示例三

目前,这种高定制化的技术在网页生成上似乎并没有表现出更强的优势。相反,GLM-5.2 因为采用的“高级模板”的基准方法,拉高了平均输出质量的下限,更受用户青睐。

避免了常见的错误案例

GLM-5.2 的许多提升可以归结为一个事实:它生成的代码……能直接运行。这一点在 GLM-5.2 对 chart.js 和 three.js 等第三方依赖库的使用上表现得尤为明显。

其他模型在使用这些库时经常报错或失效,而 GLM-5.2 却能非常自然地调用并使用它们。

在使用了这些库的 21% 的会话中,GLM-5.2 的胜率提升了 6 个百分点。

GLM-5.2 成功渲染 Chart.js 数据仪表盘示例

GLM-5.2 成功渲染 Three.js 3D 页面示例

这些库的引入对于仪表盘(Dashboard)和 3D 设计类别特别有帮助,能大幅提升其性能与表现。

第三方库对不同设计类别(如仪表盘和 3D 设计)胜率的提升对比图

此外,它在 91% 的会话中使用了 TailwindCSS,在 51% 的会话中使用了 font-awesome,通过构建精妙的设计交互和网页,使胜率提升了 1.2 个百分点。

相比之下,Opus 4.8 仅在 57% 的会话中使用了 TailwindCSS,并可能因此导致表现下滑。

GLM-5.2 在布局能力上也大有提升,尤其是在首屏设计方面。它通常会直接调用精美的外部 CDN 图片,而不是自己去构建粗糙的占位图,且其在版面布局上的美感相比其他竞争对手也有了明显进步。

GLM-5.2 生成的精美首屏布局与外部图片调用示例一

GLM-5.2 生成的精美首屏布局与外部图片调用示例二

GLM-5.2 生成的精美首屏布局与外部图片调用示例三

GLM-5.2 顺畅使用外部依赖的能力是其在 Design Arena 中提升成绩的关键,这使它避开了导致其他模型设计落后的那些错误案例。

更复杂,细节更丰富的输出

GLM-5.2 还能生成带有动画且制作精良的网站,在字体排版、视觉布局和动态效果上表现出更多的变化。在营销和落地页网站中的表现尤为亮眼,能带来更具定制感,更考究的用户体验。

但因为模型需要消耗更多 token,所以这种策略的代价是更长得生成时间。它在生成速度上变慢,但网页的复杂度和精致度却大幅提升。

在我们的测试中,GLM-5.2 生成的代码字符数和行数比竞品多出了 25%,平均生成时间为 304.7 秒,是 Claude Fable 5 的两倍。

GLM-5.2 与竞品生成代码的字符数对比图 GLM-5.2 与竞品平均生成时间对比图

GLM-5.2 用速度换取了更高的用户偏好,虽然这确实提升了胜率,但也带来了一些问题,因为最优的代码长度区间似乎是在 46K 到 57K 字符之间。

代码字符长度与用户偏好(胜率)分布关系图

这与 Fable 5 等其他模型形成了鲜明的对比。其他模型生成的代码量往往远少于竞品,平均代码行数最多少了 38%。

Fable 5 与竞品生成代码行数及字符数对比图

Fable 5 产生的代码行数比竞品少 38%,字符数少 29%。

这种生成长度的增加甚至延伸到了 Agent 模式下:在此类任务中,GLM-5.2 生成的文件数量比竞品多出 11%,调用的工具数量多出 17%,但其实际生成的总代码量反倒比竞品略少。

GLM-5.2 在 Agent 模式下生成文件数量与工具调用次数对比图

由于 GLM-5.2 往往能在第一轮尝试中就为大多数依赖库生成可运行的代码,因此它通常可以添加更多的额外功能,生成互动性更强、功能更丰富且更能完美契合 prompt 要求的网站。

GLM-5.2 生成的高交互性与高还原度网页示例

这对模型选择意味着什么?

通过将 Agent 轨迹蒸馏(agent trace distillation)与 token 级别的改进相结合,并针对单轮任务的性能表现进行了深度优化,GLM-5.2 在网页设计上迈出了坚实的一步,这也是开源模型领域的一次飞跃。

这次发布像我们展现了,开源前沿技术的发展速度是多么惊人。

几个月前的最先进技术,如今已能被所有人自由构建、微调和部署的开源模型所赶超甚至超越。

每一次这样的发布都为研究人员和开发者提供了更强大的基石,推动技术不断向前。

我们将继续密切关注 GLM-5.2 的性能表现及其与其他模型的横向对比。祝贺 ZAI 团队的成功发布!你也可以在 DesignArena.ai 上亲自测试,看看自己是否更喜欢 GLM-5.2 产生的网页。