频道:网站首页 > 手机平板 > >文章内容

StableDiffusion嵌入现实世界,能在墙上直接长出小猫咪,手机

时间:2022-10-19 18:06   来源: 网络

你看,你面前有一面平平无奇的墙。

现在,你可以根据自己的意愿,让它凭空长出东西来。

喜欢...一只小猫?

没错,稳定扩散又能开新花!

这一次,重点是稳定扩散的触角伸向了现实世界——结合WebAR。

作者是Stijn Spanhove,软件工程师的弟弟,经常在Twitter主页上发布关于WebAR或XR的视频。

目前这个凭空长出一只猫的视频还是挺火的。

随着新世界的开启,部分网友对AR+SD更感兴趣:

还有人说:

这简直就是很酷的新版《反恐精英》!

来看看这个很酷的新东西吧~

玩SD AR

首先拿起手机,然后随机选择一面墙,通过屏幕界面锁定:

选择一个喜欢的区域,圈出并全部涂黑。

输入提示词:

可爱的小猫,涂鸦风格,数字艺术。

然后点击输入框底部的扩散按钮,快进到见证奇迹的时刻。

此时,无论从哪个角度看,墙上都有一张妙娜丽莎微笑着看着你的照片。

这个视频是我小哥哥第一个用无尽火低门槛的稳定扩散,结合WebAR做出来的实验产品。

他在评论区和围观者讨论具体的工作流程。

第一步是定格,用它作为生成图像的表面纹理,让它有一个世界定位和设备跟踪摄像头。

第二步,向服务器发送API请求,并附上冻结帧和稳定扩散。

在整个工作中,将稳定扩散嵌入到现实世界是由AR完成的。

对于绘制纹理,哥哥用的是Raycast。

整个过程简洁利落,引发了网友的新思考。

目前有很多有趣的NPU硬件,手机共享内存超过12GB。

在这个前提下,如果Stable Diffusion和AR可以一起玩这个作业,并在本地运行,它可以在类似的请求时间内完成整个512x512图像生成,并在更快的AI上运行升级,这将是非常有趣的。

小哥自己也说了,这份工作只是第一次尝试,一切都只是稳定扩散和AR结合的开始。

但大部分网友认为这已经是很有趣的工作了,甚至想在上面“涂鸦”几个小时。

AIGC打破了次生壁

稳定扩散之风吹向现实世界,绝不是哥哥一个人的想法。

具体操作过程基本在原有基础上加持了AR。

就在前几天,另一个小哥用稳定扩散做了一个视频透视光学透视眼镜。

具体来说就是小哥哥做了一个扩散稳定的虚拟AR眼镜,然后通过手机屏幕上的眼镜镜片实现AR效果。

生成的虚拟AR眼睛不仅有力量提示,还能展现出westworld、丛林、外星人等多种画面风格。

此外,还有人结合Meta旗下的AR创作工具Spark AR,利用稳定扩散来假装自己拿着一个小方块牌。

你知道,上面有动画的那种。

为了达到逼真的效果,作者还在卡片表面叠加了一层反光层,使卡片看起来像玻璃。

但是这种稳定扩散产生的图像并不是实时生成的,而是提前录制的,因为目前的Spark AR版本还不支持AI和ML。

“非常好,通过稳定的扩散,AI和AR又一次紧密相连。”

反正稳定扩散这么火,不仅仅是因为效果惊人,还因为它触及到文本生成图像以外的领域时非常厉害~

参考链接:

ad

关于我们 | 联系我们 | 投稿合作 | 网站地图 | RSS订阅
 

版权所有©IT产业网
 

 

所载文章、数据仅供参考,使用前务请仔细阅读网站声明。本站不作任何非法律允许范围内服务!
 

联系我们: jokerdeyouxiang@sina.com