机器之心报道。
编辑：张倩。
用过 openai 视觉 api 的开发者都被惊艳到了。文章开始，我们先来看一段球赛解说**：
是不是感觉听起来不太对劲？
你的感觉没错，因为这段解说是用 ai 生成的，这个大喊「梅西！梅西！」的声音居然来自 ai。
这是 x 平台（原推特）博主 @gonzalo espinoza graham 发布的一段**。他表示，在制作过程中，他主要用到了 gpt-4v 和 tts 两项技术。
gpt-4v 是 openai 前段时间发布的一个多模态大模型，既能像原版的 chatgpt 一样通过文字聊天，也能读懂用户在聊天中给到的图像。更令人兴奋的是，在昨天的开发者大会上，openai 宣布，他们已经开放了视觉能力相关的 api——gpt-4-vision-preview。通过这个 api，开发者可以用 openai 最新的 gpt-4 turbo（视觉版）来开发新应用。
对于这个期待已久的 api，开发者们都跃跃欲试。因此，api 刚开放一天，就有不少开发者晒出了试用结果，这个球赛解说就是其中之一。
博主表示，为了制作这个解说**，他将原**的帧分批传给 gpt-4-vision-preview，然后通过一些简单的提示（prompt）要求模型生成一段旁白，最后把得到的结果用 tts（文本转语音技术）转成音频，就可以得到**中展示的效果。如果稍加编辑，理论上还能得到更好的结果。按照 openai 目前的定价，制作这个**大约要花 30 美元，作者直呼「不便宜」。
相关**：除了球赛，还有开发者晒出了自己用 openai 视觉 api 解说《英雄联盟》的 demo，这个 demo 用到的是 lng 与 t1 的一场比赛**，引起了全网 50 多万网友的围观。
解说链接如下：
不过，这类**具体要怎么做呢？好在，除了这些成品效果，部分开发者还晒出了自己总结的教程，以及每个步骤中涉及的具体工具。
从 x 平台用户 @小互晒出的内容来开，整个实现过程可以分为 7 步：
提取**帧；
构建描述提示；
发送 gpt 请求；
制作语音解说提示；
生成语音解说脚本；
将脚本转换为音频；
将音频与**结合。
具体内容请参见以下教程：
不过，有人在评论区提出疑问：解说的这些比赛都是以前的，实时的比赛能解说吗？
能否解说实时的比赛我们现在还看不出来，不过，确实有开发者晒出了用 openai 视觉 api 实时解读摄像头内容的 demo：
项目链接：做了类似实验的开发者评价说，openai 视觉 api 的识别速度很快、准确性也很高。
甚至有人直接把它当实时绘图工具来用，把手里的草图实时转换为此前调用专业绘图工具才能绘制的图表：
不过，这个实时效果的实验会受到 openai 设置的速率限制。
可以说，openai 正通过 gpt-4v 以及刚刚开放的视觉 api 让全世界看到多模态的力量，以上效果只是冰山一角。
其实，无论是在现实生活中，还是在研究领域，一个能读懂图像、**的 ai 都有广泛的用途。
在生活中，它能用于构建更加智能的机器人，让机器人实时分析眼前的情景，随机应变，这也是当前大火的具身智能所研究的问题。
国内创业公司开发的具身智能机器人（参见《独家 | 达摩院后的下一站：陈俊波推出具身智能大模型，要给所有机器人做一颗脑袋》）
此外，它还能用于改善视障群体的生活质量，帮助他们解读**画面和生活场景。其实，在字节跳动去年举办的一个帮助视障群体的公益比赛中，我们就能看到不少类似的创意，只是当时多模态技术还不够成熟（参见《穿颜色成对的袜子，追最新的剧：这群 coder 正帮视障者移走身上的大山》）。
在微软最近的一篇**中，研究者也展示了他们在这方面取得的进展，比如用 gpt-4v 解读《憨豆先生》剧情。
这种优秀的**解读能力能够帮助研究人员更好地理解**，从而把广泛存在的**转化为新的训练数据，训练出更聪明的 ai，形成一个闭环。
看来，一个更智能的世界正在加速到来。
参考链接：
啥？梅西解说球赛？英雄联盟也不在话下？GPT 4被玩的不亦乐乎
ai创作者 解锁 解说领域的新动力 近日，有一段球赛解说 在网络上引起了广泛关注。然而，令人惊讶的是，这段解说的声音不是来自于人类，而是由人工智能生成的。这个令人着迷的 是由 x 平台 原推特 博主 gonzalo espinoza graham 制作的，他利用了gpt v和tts技术。此处有 但此...
英雄联盟全球总决赛瑞士赛，WBG轻取北美一号种子NRG
在全球总决赛瑞士赛中，wbg战队以非常出色的表现轻取了北美一号种子nrg战队，展现出了他们的实力和风采。比赛中，wbg战队展现了出色的团队合作和个人技术水平。他们通过精妙的策略和不断变化的战术，成功地压制了nrg战队的发挥。同时，wbg战队也通过快速的反击和准确的控制，成功地掌控了比赛的节奏和局势。...
S13英雄联盟全球总决赛战报
今天，英雄联盟 s总决赛瑞士轮迎来了第二轮的比赛。在这场备受瞩目的对决中，g战队迎战了wbg战队。经过激烈的角逐，wbg原本绝对领先，但最终却被g翻盘击败。比赛开始后，wbg发挥出色，凭借团队协作和精准的节奏掌控，迅速建立了领先优势。g似乎陷入了困境，一度处于被动。然而，在比赛的中后期，g逐渐找回了...