2023 6 月 06 By astrill可以几个人一起用 0 comment

Google Research 最近在 Github 发表最新生成式 AI「StyleDrop」,可以复制任何一张图片中的风格,再加以生成图像。

使用者只需要提供一张用来指定风格的图片,StyleDrop 就能捕捉到风格中的细微差异,包括色彩、阴影、图案设计等,并模仿该风格生成图片。根据研究团队,StyleDrop 在风格移转方面的表现,还优於 Stable Diffusion 中的 Textual Inversion、Dreambooth、LoRAs 和 Imagen 等模型。

Photo Credit: Google

StyleDrop与Dreambooth间生成结果的差异。

StyleDrop 同时采用人工和自动反馈进行迭代学习以提高模型品质。当 StyleDrop 接收到输入的图像後,会生成一组再现其风格的图像,这时团队会透过 CLIP 分数或人工筛选,从中挑出最佳的生成结果,并用於进一步的模型训练。如果生成的图像不是直接重现原始图片输入内容,却保留风格的话,就会被认定为是品质高的生成结果。

团队也将 StyleDrop 与 Dreambooth 相互结合,来透过不同风格创造新物体,从图中可看到若输入物品的照片,即会由 Dreambooth 来学习;再输入一张图像则由 StyleDrop 学习其风格,再加以合并物体和风格。

Photo Credit: Google

资料来源:the decoder、Gearrice

责任编辑:Jocelyn
核稿编辑:Chris

astrill可以几个人一起用

0 0 投票数
Article Rating
订阅评论
提醒
guest
0 Comments
内联反馈
查看所有评论