英伟达推出超级缝合体PoEGAN,输入文字草图语义图都能生成逼真照片
继 GauGAN2 之后,英伟达推出了一个 GAN 的"超级缝合体"——PoE GAN。PoE GAN 可以接受多种模态的输入,文字描述、图像分割、草图、风格都可以转化为图片。
而且它可以同时接受以上几种输入模态的任意两种组合,这便是 PoE 的含义。
所谓 PoE 是 Hinton 在 2002 年提出的"专家乘积"(product of experts)概念,每个专家(单独模型)被定义为输入空间上的一个概率模型。
而每种单独的输入模态都是合成图像必须满足的约束条件,因此满足所有约束的一组图像是满足每个约束集合的交集。
假设每种约束的联合条件概率分布都服从高斯分布,就用单条件概率分布的乘积来表述交集的分布。
在此条件下,为了使乘积分布在一个区域具有高密度,每个单独的分布需要在该区域具有高密度,从而满足每个约束。而 PoE GAN 的重点是如何将每种输入混合在一起。PoE GAN 的设计
PoE GAN 的生成器使用全局 PoE-Net 将不同类型输入的变化混合起来。
我们将每个模态输入编码为特征向量,然后使用 PoE 汇总到全局 PoE-Net 中。解码器不仅使用全局 PoE-Net 的输出,还直接连接分割和草图编码器,以此来输出图像。
全局 PoE-Net 的结构如下,这里使用一个潜在的特征矢量 z0 作为样本使用 PoE,然后由 MLP 处理以输出特征向量 w。
在鉴别器部分,作者提出了一种多模态投影鉴别器,将投影鉴别器推广到处理多个条件输入。与计算图像嵌入和条件嵌入之间单个内积的标准投影鉴别器不同,这里要计算每个输入模态的内积,并将其相加以获得最终损失。
随意变换输入的 GAN
PoE 可以在单模态输入、多模态输入甚至无输入时生成图片。
当使用单个输入模态进行测试时,PoE-GAN 的表现优于之前专门为该模态设计的 SOTA 方法。
例如在分割输入模态中,PoE-GAN 优于此前的 SPADE 和 OASIS。
在文本输入模态中,PoE-GAN 优于文本到图像模型 DF-GAN、DM-GAN+CL。
当以模式的任意子集为条件时,PoE-GAN 可以生成不同的输出图像。下面展示了 PoE-GAN 的随机样本,条件是两种模式(文本 + 分割、文本 + 草图、分割 + 草图)在景观图像数据集上。
PoE-GAN 甚至还能没有输入,此时 PoE-GAN 就会成为一个无条件的生成模型。以下是 PoE-GAN 无条件生成的样本。
团队介绍
论文通讯作者是英伟达著名工程师刘洺堉,他的研究重点是深度生成模型及其应用。英伟达 Canvas 和 GauGAN 等有趣的产品均出自他手。
论文一作是黄勋,北京航空航天大学本科毕业,康奈尔大学博士,现在在英伟达工作。
论文地址:
https://arxiv.org/abs/2112.05130
PoE:
https://www.cs.toronto.edu/~hinton/absps/icann-99.pdf
投影鉴别器:
https://arxiv.org/abs/1802.05637
欧盟拟对谷歌等科技公司征税法国拉拢德国支持北京时间11月5日晚间消息,法国财政部长布鲁诺勒梅尔(BrunoLeMaire)今日表示,关于欧盟准备对科技公司征税事宜,法国希望与德国在今年12月底之前解决分歧,从而达成一致。根
韩媒三星电子将裁撤10高管,手机部门是重灾区IT之家11月30日消息据韩国经济日报报道,在下周宣布年度高管调整时,三星电子可能会将高管人数缩减5至10。据悉,一些部门的高管总数缩减将达10以上,其中就包括移动业务部门。此前就
韩国法院裁定三星员工患白血病与工作环境有关据韩国先驱报北京时间11月30日报道,韩国法院周四裁定,在三星电子芯片生产线工作的一名白血病员工应当被认定为工伤受害者。这一判决是围绕这家科技巨头工作环境安全性争议的最新动态。据首
京东宣布杨紫成为全新品牌代言人IT之家10月19日消息昨天,京东官方通过微博正式官宣李现为其品牌代言人,现在京东又宣布了另一位代言人杨紫。京东表示,90后演员京东品牌代言人杨紫正式上线,杨紫独家主题皮肤也已经推
京东宣布李现为品牌代言人,双11推百亿补贴IT之家10月18日消息随着一年一度的双十一狂欢即将来临,各大电商平台也纷纷开始为自家活动造势。京东官方今天凌晨通过微博正式官宣李现为其品牌代言人。在京东官宣不久之后李现也通过微博
京东宣布补贴3亿给一线员工,每月增3000万奖励快递员10月18日早间消息,京东物流宣布升级321一线人才建设项目,未来5个月补贴3亿给一线员工,以进一步激励员工保障福利。京东物流表示,未来5个月,将针对一线仓储分拣员工及快递员提供近
京东自营品类现在都可以选择京尊达服务IT之家10月16日消息近期,京东物流京尊达进一步升级,服务范围从此前的高值商品扩展至京东自营全部品类订单(大件生鲜除外),从特定场景配送升级为消费者提供暖心配送节日定制私人订制等
京东副总裁宋旸回应二选一受伤最深的是商家电商二选一近期再度引发热议,今日,京东副总裁宋旸在朋友圈发文表示,二选一受伤最深的根本不是京东,是那些没日没夜为生活奔波忙碌的商家,平台资源稀缺更应该鼓励商家多渠道多平台发展,多销
京东周五大涨近7,市值反超拼多多暂缓危机IT之家1月26日消息京东股价周五上涨,截至收盘,报23。63美元,涨幅达6。92,市值341。85亿美元。而昨日完成市值超越京东的拼多多,周五收盘报29。50美元,涨幅2。64,
宏碁高管英特尔CPU缺货,2019年亚太PC市场前景模糊IT之家11月25日消息据台媒电子时报的消息,宏碁泛亚营运总部总经理AndrewHou(侯知远)表示,2019年的亚太地区PC市场面临着不确定的因素,导致这一问题其中一个重要原因是
工信部发布2018年18月软件业经济运行情况软件产业量广东夺冠IT之家9月29日消息工信部今日发布了2018年18月软件业经济运行情况,我国软件业务收入持续上升,18月累计收入39453亿元,同比增长14。8,增速同比提高1个百分点,与17月