CA周记

2021年11月的 Microsoft Ignite ， 微软带来了全新的 Azure OpenAI Service，通过新的 Azure 认知服务能够访问 OpenAI 强大的 GPT-3 模型 。 虽然微软还没有正式开放 Open AI Service ， 但 GitHub 和 OpenAI 已经推出了基于 GPT-3 的新模型 Codex 的工具 - Copilot ，通过它可以帮助软件开发人员更高效地编写代码。我相信不少小伙伴都已经开始在 Visual Studio Code / Visual Studio 使用 Copilot 感受到 GPT-3 的威力。 作为开发者， 希望微软能尽快开放相关文档， 能尽快掌握相关技能 。 为了满足各位要求， 今天我就带大家进入 OpenAI 。

GPT-3 介绍

2020 年 5 月，Open AI 发表了一篇开创性的论文，题为 Language Models Are Few-Shot Learners。 他们展示了 GPT-3语言模型，它使用了一个具有 1750 亿个参数的神经网络。 GPT-3 使用来自 CommonCrawl、WebText、维基百科和书籍语料库的数据进行训练， 并在各种自然语言处理任务中表现出惊人的性能，包括翻译、问答和完形填空任务。在性能上 GPT-3 也是非常优秀， 超过了很多现有的模型。2020 年 7 月，也就是论文发表两个月后，OpenAI 开放了一个 beta API playground，大家可以通过 API 方式访问 GPT-3 模型。

GPT-3 的几个主要特点

1. 零/单/少样本学习(Zero/one/few-shot learning)： 通常，深度学习会针对一组特定的类别进行训练和测试。 如果计算机视觉中对星球大战中的 BB8 , R2D2 , C3PO 进行分类，在测试过程中就只能针对这三个类别进行。 但在零样本学习设置中，系统在测试时，可以使用不在训练内的类别（例如，用曼努达人做测试）。 单/少样本学习(one-shot 和few-shot) 也是一个道理，在测试时，系统会分别看到一个或几个新的类别。

2. 零/单/少样本任务迁移(Zero/one/few-shot task transfer)： 这个整合了 零/单/少样本学习和多任务学习的概念。 新任务（或者显示零个、一个或几个新任务的示例）可以随时执行，而不是在测试时才展示新类。 例如， 输入 “I love you -> 我爱你。 I miss you -> ____。” GPT-3 就可以通过单样本任务迁移 ，把之前没有训练过的英语转中文的任务执行起来

3. Transformers： Transformers 是解决机器翻译问题的框架, 有一个简单的网络结构，基于自注意机制，不依赖于递归和卷积完全。通过并行计算使Transformer效率高，需要更少的训练时间。

4. 生成模型(Generative models)： 统计学中分类任务有两种模型-判别模型，生成模型。 判别模型对给定的可观察变量和目标变量对的条件概率进行编码：p(y|x)。 生成模型对联合概率进行编码：p(x,y)。 生成模型可以“生成类似于现有数据的新数据”，GPT-3 模型就是应用生成模型来。

5. 多任务学习(Multitask learning)： 大多数深度学习系统都是单任务的, 只针对特定的场景。多任务系统克服了这一限制。 他们受过训练，能够针对给定的输入解决不同的任务。 例如我输入一个苹果，他可以帮我翻译成英文的 Apple ，可以找到一张苹果的图片，也可以找到苹果的一些特征等。

6. 半监督学习(Semi-supervised learning)： 是以无监督的方式训练具有非常大数据集的模型，然后通过在较小的数据集中使用监督训练来调整模型以适应不同的任务。

通过 OpenAI API 调用GPT-3

由于微软现在还没开放 OpenAI 的 GPT-3 功能 ， 现阶段我们只能通过 OpenAI (beta.openai.com) 提供的 API 使用 GPT-3 。(当然你需要有一个美国的电话号码来激活该功能) ，OpenAI 有非常丰富的文档， 以及示例 ，让开发者可以非常快上手使用 API。

Python 调用 API 几个必须的步骤

1. 安装 openai 库

pip install openai

2. 申请 API 的密钥
   

3. 可以通过 Notebook 测试一下
   

几个注意的点

1. 模型 engine ，现在针对 GPT-3 有2个比较主要的模型

模型 介绍 text-davinci-002 GPT-3 关于自然语言处理场景的模型，通常需要较少的上下文。 除了响应提示外，还支持在文本中插入补全。 code-davinci-002 可以理解和生成程序代码的模型，包括将自然语言翻译成代码(这个模型需要另外申请)

2. 关于一些示例，你可以通过访问
   https://beta.openai.com/examples 学习更多的应用场景
   
   
   

3. 你可以通过 OpenAI 提供的 Playground 做一些测试 https://beta.openai.com/playground
   

4. 你可以针对自己的业务定义 GPT-3 模型 ，你可以通过该链接了解更多 https://openai.com/blog/customized-gpt-3/

展望

GPT-3 功能强大 ，让 AI 应用场景更贴近实际的生活 。 我非常希望微软的 OpenAI Service 能尽快开放 ，让更多的开发者能使用。 还有现在 OpenAI GPT-3 在中文的支持还是非常有限的， 我也寄望微软版本的服务能有更好的中文支持。

相关资料

1. 了解 Azure OpenAI Service 功能，请访问 https://azure.microsoft.com/en-us/services/cognitive-services/openai-service/

2. Azure OpenAI Service 介绍，请访问
   https://blogs.microsoft.com/ai/new-azure-openai-service/

3. OpenAI 的相关博客 https://openai.com/blog/