商汤科技正式发布SenseNova Loop-9B。该模型延续了Preview版本对参数效率的探索:通过Loop结构复用模型层的参数,并结合流形约束超连接(mHC),在约9B参数规模下扩展计算深度,面向复杂推理、代码、工具调用和多模态任务。模型得益于Loop的高效循环结构,官方4bit量化后权重仅约4.9GB,部署显存需求低至10GB内,能显著拓宽可部署的硬件范围,让低显存芯片获得前沿27B级别模型性能成为可能。

  Preview发布以来,收到了社区对模型使用、推理部署和生态适配的关注与反馈。此次正式版沿用Loop与双流mHC架构,进一步优化模型在Agent、代码与数据分析任务中的表现,并继续探索循环计算在模型能力提升中的作用。

  SenseNova Loop-9B总参数量约为9B。模型通过两次执行共享的中间层,将32个物理解码层扩展为56次层计算;支持文本、图像输入和文本输出,上下文长度最高可达512K tokens。在Agent与数据分析评测中,模型展现出与Qwen3.8-27B相当的竞争力:NL2Repo得分为41.36,接近后者的44.60;AIDABench得分为65.31,高于后者的65.01。

  模型亮点

  共享循环模块:将第4–27层组成共享权重的循环模块,并执行两次,使模型在一次前向传播中完成56次解码器层计算。

  双流mHC:通过可学习映射,对循环模块中的两条残差流进行信息路由与融合。

  混合注意力:解码器以四层为一组,采用三层线性注意力与一层全注意力相结合的配置。

  长上下文多模态:训练方案覆盖文本、图像、代码和工具调用轨迹,上下文长度最高扩展至512K tokens。

  低资源私有化部署友好:采用4bit权重量化与8bitKV缓存时,256K长上下文推理的显存需求约为15GiB,有助于降低本地与私有化部署门槛。

  官方量化版Day0提供:模型发布首日同步提供官方AWQ 4bit量化版本,方便用户快速部署。

  SenseNova Loop-9B已开放模型权重与相关代码,供开发者和研究者下载、部署与探索。

  模型能力:正式版较Preview进一步提升

  围绕通用Agent、代码和数据分析等任务,对SenseNova Loop-9B正式版进行评测,并与Preview版本及Qwen3.8-27B等模型进行比较。

  SenseNova Loop-9B正式版在多个榜单上的表现较Preview版本有明显提升;并在约9B参数规模下,展现出与Qwen3.8-27B比肩的性能表现。

  模型表现

  以下是SenseNova Loop-9B正式版在实际场景中的表现。(注:下方Showcase均由本模型在Codex/Hermes中,经1–4轮用户交互完成。)

  制作《失真频率DISTORTION FM》音乐节动态海报网页

  巨大窄体标题占据画面,酸橙绿、黑、暖白三色;字体挤压、错位、重组,背景文字前移遮挡后揭示新章节。点击三个演出章节切换有节奏的全屏构图,提供循环及暂停。小字号中文演出信息清晰,虚构活动标注概念设计。

  制作“字形接力TYPE RELAY”的实验字体展交互网站

  制作一个名为“字形接力TYPE RELAY”的实验字体展交互网站。让文字本身成为页面切换的主角:用户在“形”“声”“意”三个展览章节之间切换时,巨大的汉字与英文字母通过有节奏的移动、尺度变化和重新编排,把上一章自然带入下一章,像一场连续的字体表演。每章有自己的内容、色彩和构图,既有鲜明的实验性,也保留清晰的阅读层级。请自行设计原创视觉语言、转场编排和交互细节,做出可在浏览器实际操作的完整网页。

  请按下面这版详细要求继续制作《字形接力》,细化视觉与转场:

  制作原创实验字体展网站“字形接力TYPE RELAY”,包含“形、声、意”三个可切换章节。核心体验是一场由巨大文字驱动的整屏转场,具有先锋平面设计和动态字体短片的质感。

  每个章节都要有完整且不同的构图:超大中英标题、简短展览文案、具有视觉张力的主图或原创图形以及精简导航。用鲜明的字号对比、局部出界裁切、不对称布局和准确留白建立层次,具体配色与字体组合由你设计。

  点击章节后的转场分三个阶段:

  1.当前内容短促退场,章节关键词迅速放大,同一个词形成多行排印,逐渐铺满屏幕。

  2.各行文字以错开的时序和不同方向掠过画面,形成有节奏的遮挡;背景色同步接管画面,在遮挡最充分时完成章节切换。

  3.字阵继续运动并退出,新章节的主标题、主视觉和说明依次显露,最后稳定在清晰可读的版面。

  转场约1.5–2秒,有明确的蓄势、加速和收束,避免匀速滑动。文字的运动轨迹、行距、尺度和前后层次要经过编排,既能感到强烈冲击,也能看出秩序。切换过程中保持画面连续,下一章不要突然闪现。

  三个章节共享一套视觉语言,但分别体现结构、节奏和留白的差异。支持前后切换,连续点击时妥善处理动画状态,窗口尺寸变化后仍保持完整构图。直接制作可在浏览器操作的网页。

  制作《海岸线以外》摄影杂志式HTML短篇网页

  制作《海岸线以外》摄影杂志式HTML短篇网页。米白与墨黑,巨大衬线字、克制中文说明、真正的高质量海岸照片。开场海景嵌在字缝中,滚动展开为全屏,再连续进入风、礁石、潮汐三个章节;图文之间有精确留白和滚动节奏。

  模型结构

  SenseNova Loop-9B以32层多模态解码器为基础,将共享权重的循环计算、混合注意力和双流流形约束超连接(mHC)结合在一起。模型通过复用中间层参数扩展计算深度,支持文本与图像输入、文本输出,并支持最长512K token的上下文。

  模型规格

  循环解码器

  输入首先经过第0–3层,随后依次通过同一组第4–27层两次,最后由第28–31层和输出头生成模型输出。若用B表示循环模块、h表示其输入,则循环计算可写为B(B(h))。

  推理时,模型每次前向传播完成56次解码器层计算,只需存储32层解码器权重。循环模块在两次执行中复用同一组权重,第二次执行以第一次的输出作为输入。

  混合注意力

  解码器交替使用线性注意力层与全注意力层。每四层为一组,依次包含三层线性注意力和一层全注意力。循环模块的边界与完整的四层组对齐,因此两次执行都保持相同的注意力排列。

  双流mHC

  在循环模块中,mHC使用两条残差流传递解码器层计算前后的信息。可学习映射决定各层如何读取残差流、混合流间信息以及将层输出写入残差状态。流间混合映射采用Sinkhorn归一化进行约束;模型配置使用20次迭代。

  可以将两条残差流理解为并行传递的两组隐藏状态:每个循环层先从残差流读取信息,执行注意力或前馈计算,再把结果写回。流间混合矩阵通过反复进行行、列归一化,约束信息在两条流之间的混合;这20次归一化迭代属于mHC内部计算,与循环模块执行两遍是不同的步骤。

  循环层范围、执行次数和mHC路由参数共同构成模型检查点的执行配置。兼容的推理实现需要加载这些参数,并保持相同的计算顺序。

  Loop Scaling:探索循环计算的收益

  Looped Transformer展现出良好的性能扩展潜力,为模型能力提升提供了循环计算这一新的探索维度。以原版9B模型(即图中对应标准单次前向计算的Loop1)为基准,在保持训练数据等配置一致的条件下,探索了循环计算的Scaling效果。实验结果表明,随着训练与推理循环次数的同步增加,模型在四项核心任务上的表现均呈现出上升趋势。

  综合考虑实际应用中的推理效率,当前的Preview和正式版模型均默认采用2次循环。然而,深层循环所带来的性能增益依然客观存在。以代码生成(LiveCodeBench V6)和数据可视化(AIDAbench-data_visualization)这两项较为复杂的任务为例,若将循环次数从当前的2次增加至4次,模型得分仍能分别获得1.04和1.35个百分点的提升。这一结果印证了Loop Scaling的有效性,也表明当前的1到4次实验只是一个起点,更高循环深度所蕴含的能力空间仍值得进一步挖掘。

  此外,上述实验结果也直观地反映出,不同类型任务对循环深度的需求存在显著差异。基于这一观察,在后续的研究中,商汤科技不仅会继续探索更高循环深度的能力边界,还将重点研究动态循环(Dynamic Loop)架构。该架构旨在让模型能够根据输入任务的复杂程度,自适应地匹配循环次数,从而在确保复杂任务获得充分算力的同时,兼顾整体的推理效率。

  低显存硬件部署友好

  得益于Loop的循环共享结构,模型仅需约9B独立参数,4bit量化后权重体积仅约4.9GB,显著降低本地与私有化部署的硬件需求门槛。结合8比特或4比特kv缓存,可进一步降低长上下文推理的显存需求,不同kv量化粒度下,模型部署最低显存需求如下表所示:

  当前不足与持续改进

  尽管Loop Transformer架构已经展现出很大的潜力,但是受限于模型体量和迭代时间,SenseNova Loop-9B在以下方面仍有改进空间:

  面对较多、较复杂的工具定义或多重条件约束时,模型仍可能出现理解与执行偏差,影响任务表现。

  代码能力虽较Preview明显提升,已具备较好的可用性,但在代码和通用Agent任务中表现稳定性还存在不足,但是模型可以通过更多步骤修正自己的错误。整体而言,处理复杂长程任务的能力还需要持续打磨。

  包含复杂3D场景和丰富动态元素的高质量网页,未必能单轮完成,部分案例需要结合用户反馈,经过2–3轮修复才能达到较好的效果。

  商汤科技将持续补强上述局限,并计划在未来把Loop架构应用于更大规模的模型,争取以更高频的模型更新回应真实使用中的需求,也欢迎社区分享使用反馈、问题案例与改进建议。

  快速开始:使用SenseNova Loop-9B

  模型权重与相关代码现已开放。开发者可通过Hugging Face模型仓库或本地模型目录加载模型。

来源:日照新闻网