1.快手可灵网页版
可灵网页版近日上线,快手将逐步向外开放测试名额,如果收到可灵内测的短信,就可以使用手机号码登录网页版。和移动端程序一样,高性能模式可以无限生成5秒钟的短视频,可选三种比例。输入中文提示词,点击生成视频即可。
高性能模式则可以一次生成10秒钟的短视频,且不支持运镜功能,每天仅能使用3次。和普通模式相比,高性能模式能够生成更加清晰的视频。可灵同时能够理解复杂的提示词,生成符合描述的视频。
切换到图像转视频手动开启首尾帧功能。选择一张静态和动态图像,分别作为首尾帧,点击生成按钮,即可输出一段5秒钟的短视频。选择高度类似的首尾帧图像,则可以获得更好的效果。
Paints Undo
这是Controlnet作者推出的工具。用户只需要提供一张图片,Paints Undo就会根据图像自动生成对应的绘画过程。Paints Undo可应用于不同类型的图像,生成相应的绘画过程视频。该项目主要为了研究数字绘画的流程,从而为数字艺术创作提供新的工具和方法。
此外,Paints Undo还能根据用户提供的图像提取不同程度的草图。上传一张图像,Paints Undo就会自动生成符合图像的提示词和素描图。把自动生成的关键帧合并,点击generate video即可输出一段连贯的视频。从生成的视频可以看出,Paints Undo能够完成复原数码图像的绘制过程,大家可以在这个网站:https://paintsundo.com/尝试。
3.Echomimic
这是支付宝推出的AI工具,可以通过音频生成逼真的视频。通过结合音频和面部的68个标志点,Echomimic提高了生成动画的稳定性,减少了抖动和失真。Echomimic还能够同时使用音频和面部标志点进行训练,生成人像视频。
目前该项目已经开放了源代码,大家可以尝试。
4.Foleycrafter
这是一个开源的项目,能够为视频添加符合场景的音效。Foleycrafter可以理解视频的语义,自动匹配声音效果。除了为生成的内容配音,Foleycrafter还能生成高度类似真实拍摄场景的音效。
Foleycrafter除了可以自动生成音效,还可以根据用户输出的提示词输出符合场景的声音。Foleycrafter的使用方法非常简单,从本地上传一段视频,点击生成按钮即可。在huggingface网站链接:https://huggingface.co/spaces/ymzhang319/FoleyCrafter可以尝试该工具。
5.Claude
本周Anthropic推出针对开发者的自动提示词生成工具Workbench,且能够测试提示词效果。该工具由Claude 3.5 Sonnet驱动,用户只需简单描述任务,Claude就能生成高质量的提示。此外,用户还可以比较两个或多个提示的输出结果。通过Workbench功能,还可以邀请提示专家对不同版本的提示响应进行评分,从而选择最佳提示。
6.Captions
AI视频生成工具Captions是一个综合性视频剪辑平台,提供了很多主流的AI工具。其中3D数字人是新增加的功能,可以生成支持多国语言、多种分辨率的超真实虚拟主播,适用于不同的场景。感兴趣的同学可以尝试。