亚洲美图区 豆包大模子再造爆款：抖音“AI绘本殊效”播放超11亿 | 雷峰网

国庆时间，抖音上一款名为“AI诊疗绘本”的殊效招引了数百万用户投稿。该殊效吸收了动态绘本的拟物玩法，初度使用了3D立体翻书的花式，奥妙地将首张用户图四肢书皮呈现亚洲美图区，玩法新颖意旨酷爱酷爱意旨酷爱酷爱。收尾现在，基于该殊效投稿的“成为绘本里的和煦主角”话题播放量卓绝11亿。

雷峰网(公众号：雷峰网)了解到，“AI诊疗绘本”殊效底层使用了字节越过豆包大模子的图像生成武艺，工夫团队通过多项自研算法，保证了模子有更好的作风反馈度、画面好意思不雅度，让作风化效果更裕如发达力，何况更猛进程规复了东说念主物面部特征、服装花式、面容、配饰等主体特征，在“好意思且像”的维度上取得了邃密的效果。

为呈现更好的交互方式，工夫团队使用了自研的主体抹除、扩图武艺，对作风化收尾图进行后料理，使得多张收尾图不错在端上进行切换。上述经由中应用到的IP保握工夫 RealCustom 和 AI扩图和AI撤销工夫ByteEdit，两项效果折柳入选CVPR2024和ECCV2024。

RealCustom ：生生效果又好意思又像本东说念主的IP保握工夫

RealCustom是一种个性化定制工夫即IP保握，关于苟且敞开域物体或东说念主物 IP 均可结束无需微调的及时定制化生成，在AI绘本中主要起到保握输入图片特征的作用。

不同于以往作风化殊效顶用的图片特征保握花式亚洲美图区， RealCustom不仅大略规复图片的细节特征，还具有对图片的概述语义想法，从而不错字据文本输入自顺应地作念出变化，并生成愈加协调的效果。

为了更好的规复主体外不雅，RealCustom 使用了多个档次的图片信息和会，为了让视觉信息跟文本信息能更好的和会，RealCustom 通过自顺应模块学习了视觉条目与文本条目之间的对都武艺，并字据不同期刻的景况准确地推导出相应的视觉条目。从而能对用户多各样种的输入作念出自顺应的料理，在保证好意思瞻念的作风化效果的同期，褂讪的保握图片特征。

ByteEdit：让填充配景更当然协调的AI扩图和AI撤销武艺

殊效顶用到了AI扩图和AI撤销的武艺，其中AI撤销是指撤销图像中指定的某个物体或区域，羽田爱种子并字据周围的配景来填充撤销位置的内容；AI扩图则字据指定的推广比例来延展原图像的内容。这两个任务实质上都是字据已知图像的内容去填充周围的区域，要点在于若何让填充的内容和原图莫得违和感。

麻豆在线

为了达到这个指标，领先，工夫团队增大了考研数据量级，让模子「看到」更多泛化场景。此外，ByteEdit 提倡了一种立异的框架，诓骗反馈学习来增强生成性图像裁剪任务。ByteEdit 通过集成图像奖励模子来擢升好意思学质地、图像与文本的一致性，并引入密集的像素级奖励模子以增强输出的一致性，让但愿填充的区域和非填充区域愈加的协调。此外，提倡了一种抗争性和渐进式反馈学习政策，以加速模子的推理速率。

除此除外，“AI诊疗绘本”殊效不错撑握用户上传多张图，在作念武艺部署时，工夫团队针对该场景单独作念了一套多办事并行逻辑以及性能加速政策，最猛进程保险了在流量岑岭期时，大略在最短时天职将作风化收尾图、后料理收尾图等顺利复返到端上。端上获得多张收尾图后，工夫团队依托自研的竹帛3D指引和暗影跟从算法，对书内各个物体的指引弧线进行参数自动化调治，在模拟竹帛翻页以及内页跳出的经由中，暗影效果不错随书页当然挪动，更猛进程保留了书页翻动的立体感与当然感，边际的暗影过渡相对流通。

国庆时间，抖音殊效团队上线了相通是和煦诊疗系的“金秋绘本风殊效”，殊效投稿已超百万，相关话题播放卓绝1.8亿。

改日，跟着豆包大模子日趋练习，抖音平台或将基于此出生更多意旨酷爱酷爱意旨酷爱酷爱玩法。

雷峰网原创著作亚洲美图区，未经授权拒接转载。确定见转载应知。