继国内首次把AI技术应用于顶级体育赛事世界杯的直播剪辑上,AI直播剪辑黑科技又"盯上"了超级音乐IP。
12月8日,咪咕AI直播剪辑官将在由神武3独家冠名、科大讯飞特别赞助的真乐·无界——第十二届音乐盛典咪咕汇上C位出道,开启演艺直播短视频剪辑"秒剪"时代。据悉,这将是国内首次把AI直播剪辑技术应用于音乐演艺场景。跨界升级的咪咕AI技术,不仅能秒剪海量精彩短视频,更以AI情感识别进行短视频标签、分类,结合大数据实现个性化定制与推荐,通过咪咕公司MCN矩阵进行全平台分发,将为用户带来更极致、更沉浸的泛体娱内容直播体验。
(咪咕AI直播剪辑官)
黑科技玩跨界 AI直播剪辑首次进入演艺领域
2018年,短视频生态与内容的爆发对技术提出了更高挑战。业内专家认为,平台要生产、获取优质短视频内容,必须具备强大的AI能力。
作为2018世界杯新媒体官方合作伙伴,咪咕公司基于中国移动咪咕视讯CDN直播平台和AI云平台,采用自主研发的多模态AI融合解决方案,从时域和空域的维度对世界杯直播视频流进行场景理解,推出了世界杯直播的最新最潮玩法——咪咕AI直播剪辑官。
咪咕AI直播剪辑技术的应用,将短视频剪辑速度从10分钟缩短至10秒以内,堪称神剪刀手。世界杯直播期间,其准确率已经达到100%,能准确识别进球、射门等7大场景和世界杯球队、球员。由AI剪辑的C罗进球短视频,短短一天在咪咕视频手机客户端的观看人次就突破1亿,满足了当前新媒体用户对精彩短视频的需求。
为满足当前用户对不同场景下精彩短视频的需求,咪咕公司基于咪咕音乐这一国内最大的O2O演艺平台和正版音乐版权库,将AI的能力不断拓展,升级推出了覆盖泛体娱场景的咪咕AI直播剪辑官2.0版。
从秒剪到秒懂 AI情感识别让直播剪辑更懂用户
"与体育赛事直播不同,在音乐演艺场景中,每一场的舞台灯光、歌曲舞蹈,明星的情绪、动作都是不一样的,这对我们AI识别、剪辑的能力提出了更高、更精准的要求。"咪咕公司AI专家表示。
(第十一届音乐盛典咪咕汇现场)
通过前期对咪咕音乐超2000万首正版歌曲、超2000场演艺活动数据的识别和训练,咪咕AI的剪辑能力堪比演唱会专业剪辑师,对超高清音乐演艺直播流能做到智能识别、剪辑、分类、推荐。它有一对"ResNet残差网络耳朵"可以精准识别歌曲音频,"秒剪"出演唱会上的每一首歌曲;它拥有一双"3D 卷积神经网络眼睛",能识别超过3000个明星的人脸,以及明星在舞台上的比心、挥手等动作,炫酷舞美、全场合唱等精彩场景更是不在话下;它还有"VGG超深度网络情绪感知能力",明星高兴、惊讶、难过等情绪它都能实时感应、捕捉,通过"秒剪"实现精彩短视频与直播画面实时生成。
速度快、识别准、场景全,咪咕AI直播剪辑官不仅能让用户"秒看"演唱会直播短视频,更以AI技术为驱动,让音乐更懂用户——通过AI情感识别,为每个直播剪辑短视频打上风格、情感等标签,通过大数据分析用户个人偏好进行分析和个性化推荐;通过AI人脸深度检测能力与AR结合,为明星匹配 "萌腮红"、"大眼睛"、"兔耳朵"等虚拟特效,让短视频更有趣。此外,海量的演唱会短视频还能实时设置为你的专属手机视频彩铃,让每一个粉丝都能为自己的爱豆打 Call。
以新技术驱动 为用户开启下一代沉浸式新体验
据悉,将于12月8日举办的第十二届音乐盛典咪咕汇、12月9日举办的咪咕次元盛典上,咪咕AI直播剪辑技术将首次在音乐演艺场景的直播中大显身手。
(第十二届音乐盛典咪咕汇即将启幕)
以真乐精神为牵引,汇聚周杰伦、五月天、张惠妹、蔡依林、莫文蔚、G.E.M.邓紫棋、薛之谦、蔡徐坤及NINE PERCENT、徐佳莹等星光阵容的第十二届咪咕汇,与咪咕AI、AR、真4K、视频彩铃等"黑科技"的融合与碰撞,将大大提升用户和咪咕会员观看直播的体验——多视角观看演唱会直播的同时,实时分享海量精彩短视频,定制爱豆的专属视频彩铃,畅享应援弹幕发送、星光值巅峰爆灯等互动道具,让用户沉浸式感受超级音乐IP的魅力。
基于音乐、视频、阅读、游戏、动漫五大数字内容平台,以及5G的超前布局和4C理念(China中国、Creation创造、Connection连接、Change改变),咪咕公司正在AI、AR、VR、高清等领域积极探索新形态传播方式。从超级体育IP到超级音乐IP,咪咕将致力于通过文化引领和科技驱动,为用户开启下一代沉浸式体验(NGIE)。