这款AI修图开源后,又多少行业面临失业,聪明人靠它在抖音再就业搞钱

your-bester

共 3465字,需浏览 7分钟

 ·

2023-07-07 05:44

DragGAN

超傻瓜PhotoShop,正如她的名字一样,拖拽(Drag)生成对抗网络(GAN),什么叫生成对抗网络你不用去管它,至于拖拽嘛,看图(A picture is worth a thousand words)。

这款软件非常直观易懂

  • 图片上点击两下:红色、蓝色

  • 在Drag栏选择:点击开始

  • 画面红色位置自动移动到蓝色位置


0de44606395a8695fb0591be23b2c542.webp

日出再看一遍,好的,时间到倒流。

顺带分享一个真正可以看2次日出的方法:

在太阳完全升到地平线以上时,立即蹲下,就能体验太阳与地平线再次离开地平线,175cm亲测有效,身高越高效果越佳。

上图中,太阳被拖拽后生成的照片不太和谐,这是因为训练集合不足导致的。DragGAN针对人物和动物进行了最多内容的训练,接下来的几个例子更加令人惊叹。

ff25dae91c6420356f3672693b0a16fb.webp


除了能够模拟各种变装模特,DragGAN还可以生成各种姿势的图像。不仅可以拉长或缩短衣服,甚至还能调整衣服的长度。这是否意味着DragGAN可以一键脱衣呢?


e148c86d6d524908d26c355456ae9129.webp


大头照修图?刘海不满意、眼睛没有神、笑容不自然都不用担心,借助DragGAN修图就可以搞定。


Stable Diffusion Vs DragGAN

Stable Diffusion 和 DragGAN 的差别在于一个是开盲盒、一个所想及所得。

Stable Diffusion可以帮助非艺术专业人员入职绘画。传统的绘画需要很长时间的学习和实践,而且需要具备一定的艺术天赋和技能。但是,利用Stable Diffusion生成的图像可以作为非专业人员学习和实践绘画的素材。通过对这些高质量的图像进行观察、分析和模仿,非专业人员可以逐渐掌握绘画的基本技能和风格,进而提高自己的绘画水平。

fae931eac317a4eefcd99ce25c1263b2.webp

566ea5129b68fe8cb34241d9b85d8e06.webp






Stable Diffusion的优势在于其天马行空的创造力,但是需要注意的是,同样的提示词可能会根据不同的模型生成出截然不同的内容。虽然Stable Diffusion拥有区域重新绘制的功能,但有时候也会遇到无法改变的限制,这时候如何选择合适的提示词就显得尤为重要了。很多人会在抖音直播间、淘宝等平台购买提示词,这些提示词被称之为 "20元一套魔法书" ,因为它们能够帮助人们轻松地创作出高质量的内容。

我曾经使用过很多绘画软件,发现不同的软件提示词库也各不相同,甚至有些敏感词还会被过滤。我记得有一次,我想用一个词来形容黑人,但是我的词汇量不够,只知道"black human"和"negro"这两个词。然而,系统却将我的提示词标为红色,提醒我删掉(因为最后提示词要展示出来给其他用户参考)。于是,我开始在Google上搜索如何不冒犯黑人群体的方式来称呼他们。

我相信很多人也有过和我类似的经历,有同样经历的举个手。




反观DragGAN,一个所想及所得,使得生成图像过程变得简单高效。

它合成符合用户需求的视觉内容通常需要对生成物体的姿势、形状、表情和布局具备灵活精确的可控性。现有的方法通过手动注释的训练数据或先前的3D模型获得生成对抗网络(GANs)的可控性,这些方法通常缺乏灵活性、精度和通用性。在这项工作中,我们研究了一种强大但很少被探索的控制GANs的方式,即以用户交互的方式“拖动”图像中的任何点以精确地达到目标点,如图1所示。

为了实现这一点,DragGAN由两个主要组件组成,包括:

  • 1 基于特征的运动监督,驱动手柄点向目标位置移动

  • 2 一种新的点跟踪方法,利用辨别式GAN特征来不断定位手柄点的位置。

通过DragGAN,任何人都可以通过精确控制像素位置来扭曲图像,从而操纵动物、汽车、人类、景观等各种类别的姿势、形状、表情和布局。由于这些操作是在GAN的学习生成图像流形上进行的,它们往往可以产生逼真的输出,即使在具有挑战性的场景下,如幻觉遮挡内容和变形的形状始终遵循对象的刚性。定性和定量比较都表明,DragGAN在图像操作和点跟踪任务上优于先前的方法。我们还展示了通过GAN反演对真实图像进行操作的能力。

b61bf43301200aa254133a12c753b74a.webp



DragGAN搞钱思路

DragGAN即将开源,目前有体验版本。

1、 开源后可以搭建DranGAN网站收费创作。

缺点:不要以为开源后搭建网站很简单,他对显卡的要求可不低。

2、 降低原创图片再创作难度。

上问说了Stable Diffusion的各种魔法提示词和盲盒式生成图片,有很大的变动性。
使用DragGAN前可先到各种图片网站批量下载精美图片,再简单的拖拽即可生成没有版权的图片。

缺点:我想不出。


本地部署
  1. 下载并安装Miniconda
    https://docs.conda.io/en/latest/miniconda.html

  2. 打开 Anaconda Powershell Prompt (miniconda3)

  3. 输入指令,创建 draggan环境

conda create -n draggan python=3.7

  1. 提示是否继续的时候输入 y 即可继续。

  2. 输入conda activate draggan,激活环境

  3. 安装 PyTorch(指令二选1,适合windows系统)

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

conda install pytorch torchvision torchaudio pytorch-cuda=11.7 -c pytorch -c nvidia

CPU运行指令(无显卡用户使用)

pip3 install torch torchvision torchaudio

7.安装 DragGAN

pip install draggan

8.运行 DragGAN

python -m draggan.web

python -m draggan.web --device cpu (无显卡命令)

🔹 官方安装教程:
https://zeqiang-lai.github.io/blog/posts/ai/drag_gan/

🔹 Colab安装程序
https://huggingface.co/spaces/radames/UserControllableLT-Latent-Transformer

🔹 Huggingface Demo
https://github.com/camenduru/DragGAN-colab


0180ccd163e188cb1d78299caddc1bd4.webp



DragGAN作者简介

Xingang Pan(潘新钢)

南洋理工大学计算机科学与工程学院MMLab@NTU的助理教授。在加入NTU之前,曾在Max Planck信息学研究所担任博士后研究员,由Christian Theobalt教授指导。于2021年在香港中文大学多媒体实验室获得博士学位,导师为唐小强教授。在博士期间,与罗平教授和罗翔宇教授保持密切合作。于2016年获得清华大学的学士学位。

作者官方网页:
https://xingangpan.github.io/


b7460a733c5de28204fa47203881a44f.webp



ChatGPT镜像链接

广告时间,对于使用原版ChatGPT有难度的读者,ChatGPT国内镜像是你不错得选择,

关注公众号,发送 ChatGPT镜像 获取镜像连接。

浏览 135
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报