这几个项目,我看傻了!
共 2130字,需浏览 5分钟
·
2022-02-27 13:35
大家好,我是 Jack。
今天聊聊技术,给大家推荐几个最近看到的开源项目。
STIT
STIT 算法,我在之前B站的一期视频介绍过。
我们再回顾下效果:
原视频的“赫敏”在微笑着说话,变换表情为愤怒,甚至改变年龄,变成一张几岁的小孩脸。
再看一组:
除了真人,动漫的表情也可以变化:
算法如约2月14日,情人节开源。
项目地址:
https://github.com/rotemtzaban/STIT
人脸属性编辑算法,现在大多数都是基于 StyleGAN 做的。
思想就是,在隐空间(latent space)控制隐藏特征(latent code)来控制图片的属性。
简单点解释就是,一张人脸图片,是由多维特征组成的,比如年龄、性别、光照、肤色、发质等。
为了更好得对数据进行分类或生成,需要对数据的特征进行表示,但是数据有很多特征。
这些特征之间相互关联,耦合性较高,导致模型很难弄清楚它们之间的关联,使得学习效率低下,因此需要寻找到这些表面特征之下隐藏的深层次的关系,将这些关系进行解耦,得到的隐藏特征,即latent code。
不过这个思路是针对图片的,STIT 算法针对的是视频处理,考虑了帧间信息。
STIT 算法的处理流程主要分为六步:
输入视频首先被分割成帧,每帧中的人脸都被裁剪下来并对齐;
使用预训练的e4e编码器,将每张已裁剪的人脸反演到预训练的StyleGAN2的潜空间中;
在所有并行帧中使用PTI(最新提出的一种视频人脸编辑方法)对生成器进行微调,纠正错误,恢复全局一致性;
所有帧通过使用固定的方向和步长,线性地操纵其轴心潜码(pivot latent codes)进行相应编辑;
再次微调生成器,将背景和编辑过的人脸“缝合”在一起;
反转对齐步骤,并将修改后的人脸粘贴回视频中。
更详细的原理,可以直接看论文:
https://arxiv.org/pdf/2201.08361.pdf
算法运行很简单,第一步安装底层依赖库:
pip install Pillow imageio imageio-ffmpeg dlib face-alignment opencv-python click wandb tqdm scipy matplotlib lpips
STIT 依赖于 StyleCLIP ,直接安装即可。
pip install git+https://github.com/openai/CLIP.git
然后下载预训练模型,解压到工程根目录即可。
https://drive.google.com/file/d/1cDvUHPTZQAEWvfiK9C0nDuI9C3Qdgbbp/view
然后通过如下指令,即可运行代码:
python edit_video.py --input_folder /path/to/images_dir \
--output_folder /path/to/experiment_dir \
--run_name RUN_NAME \
--edit_name EDIT_NAME \
--edit_range EDIT_RANGE
具体参数说明,看项目的 README 吧,有点多。
SAHI
这个算法偏实际应用,一个通用的小目标检测。
这个蛮有用的,在一些检测场景,太小的物体,很容易漏检。
SAHI 就是针对这个问题提出的通用解决方案,提出了一个名为切片辅助超推理(SAHI)的开源框架。
该框架为小目标检测提供了一个通用的切片辅助推理和微调管道。
该技术是通用的,它可以应用在任何可用的目标检测器之上,不需要进行任何微调。
使用 SAHI 可以大幅提升目标检测的 mAP,可以提升 10 个点之多。
目标检测的 trick,值得一试。
项目地址:
https://github.com/obss/sahi
这个项目很全面,有自己的教程、Paper、代码等,直接看官方的最全面了。
HowToCook
最后再聊个轻松的项目,第一次看到这个项目差点笑喷。
这也是让我大开眼界的项目,直接看傻,原来还能这样玩!
热榜第一:程序员在家做饭指南。
真就项目如其名呗:HowToCook。
不过这个项目和普通菜谱有所不同。
1cm * 1cm,非常严谨,做饭记得带尺,哈哈。
项目作者是这样说的:
项目一经发布,好家伙,一堆小伙伴去提交 pr,贡献者涨到了 90+ 名,star 量更是几天就飙升到了 11.3k。
项目不允许使用“适量”、“少量”等不精准描述的词汇。
哈哈,太真实了。
爱做饭的程序员,不要错过。
项目地址:
https://github.com/Anduin2017/HowToCook
总结
本期的内容有点多,大家慢慢玩。
我是 Jack,我们下期见!