开源国产8B模型，比肩闭源Image 2了！|调用|工作流|多模态|lite|image|prompt_网易订阅

金磊 发自 凹非寺量子位 | 公众号 QbitAI时隔仅仅三周，开源国产生图模型，国产工作又进化了。模模态上回书到，型比这个生图模型是肩闭4K直出的，开源的源I易订阅，只有8B大小的调用。这一次，流多它的开源正式版本来了！若是国产工作用三个词来概括，那就是模模态——更完整，更准确，型比更稳定。肩闭例如我们现在一口气把九张不同的源I易订阅食品照片丢给它：并简单附上一句Prompt：请将这九款美食拼成一张精美的菜谱分享卡片。原本各自拍摄、调用比例和背景都不一样的九张图片，一下子就被整整齐齐地设计到了一张图里；并且AI还精准识别出了每道菜品，同时还给它们适当加了美化处理，让图片整体变得更加养眼。再来看一个编辑图片的例子。我们在原图的基础上，用“框选+标注”的方式，把想要修改的图片局部细节给标了出来：AI在接到任务改完以后是这样：可以明显看到，几个目标区域都按照要求发生了变化，但床、床头柜、玻璃杯、右侧柜体，包括整个卧室原来的空间关系都基本保留下来。而这个AI，便是商汤科技这次正式开源的SenseNova U1.5 Lite，其亮点如下：3-4k字符超长复杂指令遵循：能一次理解更长、更复杂的要求，同时处理主体、数量、位置、文字、布局和行止等多种约束，不容易漏细节。更高质量的视觉生成：构图、色彩、材质、光影和细节更自然，整体完成度更高。更可靠的原生图像编辑：改指定内容时更精准，同时更好地保持人物、结构、版式和其他区域不变。更好的文字与复杂布局：中英文文字、海报、信息图和多文本排版更准确，也更擅长组织复杂画面。更精细的视觉控制：支持框选、标记和多图参考等方式，更准确地指定“改哪里、改什么”。Native 4K高分辨率输出：直接生成4K高清图，同时保住构图、纹理、小字和光影等细节。而且啊，SenseNova U1.5 Lite依旧保持了8B的大小，还能在复杂排版与精准编辑等核心的场景上比肩闭源的GPT-Image-2：如果说三周前的SenseNova U1.5 Lite Preview版本是印证一个统一模型能够把视觉能力扩展到哪里。那么到了今天的正式版本，商汤科技则是进一步印证这些能力能否分别得到强化，再重新统一到一个轻量级模型中，并稳定进入真实创作流程。效果怎么更强了？看细节接下来，我们继续拿效果来说话。第一个任务，先来一个考验信息组织能力的实测，主题是从可可豆到巧克力。要在一张竖版信息图里，要求同时塞进Harvesting、Fermentation、Roasting、Grinding、Tempering到Finished Chocolate六个阶段。每个阶段既有文字解释，也有对应的可可果、发酵箱、烘焙设备、研磨装置、巧克力浆等视觉元素，而且六层内容还得沿着版式一路往下走。从最终的效果来看，SenseNova U1.5 Lite已经做到了可以组织一整套视觉表达，包括长文本、多层级结构、插画、数字相继和版式关系。这种能力再落到更日常的内容生产里，就变成了类似做社交媒体封面这类任务。比如下面这张图：这类图看上去虽然元素不算多，但困难就在于要做到“封面感”这三个字。标题要立得住，主体要足够抓眼，三只狗的造型、服饰和表情既要各有区分，又不能彼此打架；同时，整张图还得维持住统一的时尚调性，而不是变成几个可爱元素拼在一起。从最后的结果来看，正式版在这类应用型视觉任务上，已经开始更接近一张能够直接拿来用的封面作品。接下来，我们再来看下SenseNova U1.5 Lite的局部编辑能力。Prompt是这样的：仿照参考图的折纸拼贴视觉，生成一张社区共享厨房运营模式信息图。乍一眼看过去，两张图片整体的结构和行止几乎是没有变化的，因为我们的要求就是“仿照参考图”。仔细看细节，原来属于教育品种的元素被替换成厨师帽、砧板、菜谱等厨房相关视觉，左侧的信息也跟着变成Membership Fees、Commercial Rental、Cooking Classes、Market Sales和Event Hosting。在这类任务中，模型得先分辨出一张图里哪些东西属于主题内容，哪些东西属于更底层的设计逻辑。然后保留后者，再让新内容沿着原来的视觉语言长出来。不过若是参考图从一张变成了多张，那任务难度就会更大了。例如我们输入下面这三张参考图片：然后附上这样的Prompt：Edit Image1usingImages2and3ascontentreferencesrather than pasted rectangular images. Replace the framed band silhouetteswithallfive Radiohead membersfromImage2, transformedintothe poster’s distressed monochrome halftone style. Reflow the four lower feature blocksintoa compactleftcolumnandaddan ESSENTIAL LISTENING listontherightusingImage3onlyforwordingandhierarchy. Render thenewlist directlyonthe same continuous black distressed backgroundwithmatching off-white type; donotretainanywhiteorcream card background. Preservealloriginal textandallother poster elements.这次Prompt更细节的一点是，第三张参考图只允许参考内容和信息层级，原来的白色卡片背景不能一起搬过来，新歌单要求直接长在海报原来的黑色做旧背景上。SenseNova U1.5 Lite给到的结果如下：从结果来看，Radiohead五个人进入了原来的乐队区域，人物处理后的质感和整张海报基本接上了；左下方的信息重新压缩，ESSENTIAL LISTENING则直接融进右侧版面，没有留下一块突兀的白底。而对于刚才给到的三张参考图来说，第一张负责版式和行止，第二张负责人物身份，第三张只负责文字内容和结构。模型必须先把这三件事分开理解，最后才能重新合成到一张图里。但在真实设计工作里，还有一种要求没有前面这么复杂，却可能出现得更反复——改几个字。这次我们在输入原始图片后，Prompt如下：请将左下角深蓝色矩形信息栏内的展览时间与地址详情，从“JUNE 15 - JULY 30, 2024URBAN GALLERY123 CREATIVE WAYARTSVILLE, USA”替换为“AUGUST 10 -SEPTEMBER 28, 2024METRO MUSEUM456 DESIGN ROADCREATIVITY CITY, UK”，保持原有的白色与粉色字体样式及排版布局不变。最终，左下角的信息完成替换，画面中心巨大的“RHYTHM OF FORM”、周围高饱和度的几何图形，以及原本的文字层级都留在原来的位置。先拆开练，再合回来在看完的效果之后，接下来的一个问题就是，一个8B模型是如何做到文字、审美、复杂布局、长指令、局部编辑都过关的？据了解，SenseNova U1.5 Lite继续沿用了NEO-unify原生统一多模态架构，把视觉理解、图像生成和编辑放在同一套模型里。也就是说，在真正动像素之前，模型先要理解画面。哪里是主体，谁在谁旁边，哪些是文字，用户指的是哪块区域，一张参考图里到底哪些东西值得保留……这些理解过程，并不会和后面的生成、编辑彻底分家。而正式版这次比较关键的一处变化，发生在训练阶段。商汤采用了一套很容易理解的办法：先拆开练，再合回来。文字渲染、美学表达、图像编辑这些目标，先会分别训练对应的专项Expert。等这些Expert练完以后，再通过多教师在线策略蒸馏技术MOPD，把它们的专项能力重新融合回同一个SenseNova U1.5 Lite里。所以训练时虽然有多个专项老师，到了最后真正交付和部署的时候，用户拿到的依然只有一个8B模型。没有附加Router在背后判断“这次应该调用哪个子模型”，用户也不用在文字、美学、编辑几个模型之间自己来回切。这种做法和前面的案例其实是能对上的。比如Radiohead那组多参考图任务，模型先得理解原海报的视觉腔骨，再识别人物，还要从另一张图里提取文字结构，最后才能完成生成。到了海报改字也是一样。“只改左下角”率先得先理解什么叫“左下角”，哪些文字属于目标区域，周围哪些图形、字体和版式不能动。等这些判断做完，才轮到最后的像素生成。所以在统一训练体系里，视觉语义理解和空间建模形成的结构化认知，可以继续反过来帮助生成和编辑。商汤在新闻稿里把这件事概括为“理解与生成双向反哺”。而要让这种能力在复杂任务里稳定下来，正式版后训练又专门强化了三件事。第一件叫指令遵循。用户写了一大串要求，主体有几个、谁在左边、文字放哪儿、什么水彩、哪些东西不许改，最后模型到底执行了多少。第二件叫视觉偏好。指令都完成以后，整张图的构图、材质、光影和最终质感到底过不过关。第三件是编辑保持。要改的区域能不能改准，原本已经正确的地方还能不能留下来。这三项其实刚好对应了前面几个案例最容易出问题的地方：复杂信息图怕漏要求，STYLE这样的封面直接考验美学完成度，而卧室修改、Radiohead和文字替换，则都离不开对非编辑区域的保持。另外还有提示词增强。如果用户只给一句比较简短的要求，PE可以先帮忙把意图整理成更完整的创作方案，再交给U1.5 Lite执行。以上便是正式版SenseNova U1.5 Lite背后的技术关键了。生图模型的标准，得变了若是把时间线拉长一些，回头再看SenseNova U系列这几次变化，其实我们会发现一个比较明显的趋势。早期大家看生图模型，最容易比较的是够不够惊艳。但当AI的生图能力越发的普及，真正决定模型能不能进入工作流的问题，开始出现在第一张图生成以后。这也是SenseNova U1.5 Lite正式版反复强调“稳定”的原因。相比再增加几个看起来新鲜的玩法，它更想解决的是一项视觉任务从生成到交付的完整链路。对应地，评价模型的标准也在发生变化。一张图够不够漂亮依然重要，但真正拉开差距的，越来越可能是模型能不能从理解要求、生成内容，一路完成修改、细化和最终交付。统一模型的价值也正是在这里体现出来。SenseNova U1.5 Lite最终交付出去的依然只有8B。它没有不断叠加外部路由，也没有把不同任务拆给多个模型分别完成，而是先通过多个专项Expert补强能力，再把这些能力重新收进一个统一模型里。这样做的好处很直接：调用链路更短，部署更轻，同时还能尽量保住不同任务之间的一致性。落到开发者和创作者的实际使用里，最终对应的其实就是三个字，快、好、省。商汤的判断是，多模态仍然会是AI走向物理世界、真正进入生产环节的重要方向。因此这次U1.5 Lite正式版继续把大量精力放在稳定性、指令遵循和编辑精度上。它们未必像某个新玩法一样第一眼就很抓人，却更直接决定了模型能不能被真正用起来。如果说三周前的Preview版本更多是在印证，一个8B统一模型的视觉能力究竟能铺到多宽。那么到了正式版，问题已经开始变成另一件事：这些已经铺开的能力，究竟能不能稳定地拿来干活。GitHub：https://github.com/OpenSenseNova/SenseNova-U1Hugging Face：https://huggingface.co/collections/sensenova/sensenova-u15SenseNova Studio在线体验：https://unify.light-ai.top/

很赞哦!（29）