什么是 AGI

Agi Ai

最后更新时间 (CST)：2023-08-25 05:03:11 +0800

`AGI` 定义

AGI 是 Artificial General Intelligence 的缩写，中文翻译为 人工通用智能。它是一种能够像人类一样，具有智能的机器。它能够像人类一样，通过感知、认知、推理、决策、行动等过程，完成各种任务。

懂 AI、懂编程、懂业务 的超级个体，会是 AGI 时代最重要的人。

AI 起源

每个时代都有对 AI 的定义，没有绝对的答案。

AI is bullshit。深蓝没用任何 AI 算法，就是硬件穷举棋步。

—— 许博士

`ChatGPT` 能干什么

I’ve been reluctant to try ChatGPT. Today I got over that reluctance. Now I understand why I was reluctant.

The value of 90% of my skills just dropped to $0. The leverage for the remaining 10% went up 1000x. I need to recalibrate.

我一直不愿意尝试 ChatGPT。今天我克服了这种不情愿。现在我明白我为什么不情愿了。
我 90% 的技能的价值刚刚下降到 0 美元。剩余 10% 的杠杆增加了 1000 倍。我需要重新校准。

—— Kent Beck

以下是一些举例。

写文章
写邮件
出面试题
写代码
回答问题
陪聊天
舆情分析：从公司产品的评论中，分析哪些功能/元素是用户讨论最多的，评价是正向还是负向
坐席质检：检查客服/销售人员与用户的对话记录，判断是否有争吵、辱骂、不当言论，话术是否符合标准
故障解释：根据系统报错信息，给出方便非技术人员阅读的故障说明
零代码开发/运维：自动规划任务，生成指令，自动执行
生成业务逻辑：自定义一套业务描述语言（DSL），直接让 ChatGPT 写业务逻辑代码

解决业务问题的一个例子

[1]:

# 加载环境变量
import openai
import os

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = """
帮我寄到北京市朝阳区亮马桥外交办公大楼，写张三就行，电话18011211132

提取上述信息中的收件人（name），地址（address）和电话号码（phone），并以JSON格式输出，key用英文，value用原文中的语言，直接输出结果。
"""
response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=240,
    temperature=0
)

print(response.choices[0].text)

[ ]:

{"name":"张三","address":"北京市朝阳区亮马桥外交办公大楼","phone":"18011211132"}

收起

从 AI 的视角，怎么定义我遇到的业务问题

首先，我们从三个角度来看待一个业务问题：

输人是什么：文本、图像、语音信号…
输出是什么：标签、数值、大段文字（包括代码、指令等）…
怎么量化衡量输出的对错/好坏？

绝大多数业务问题，都可以归入如下至少一类。

分类	描述
分类问题	笼统的说，输出是标签。输出的标签是个有限集。输出的标签是预先定义好的有限集。例如：分析一段评论是正向还是负向，是典型的分类问题。输出是两个标签之一：“正向”或“负向”。更复杂的分类，比如，输入一篇新闻，输出是“政治”、“经济”、“体育”、“娱乐”、“科技”之一（或多个标签）。
聚类问题	没法提前规定有多少种标签，只能把同一类事物聚合在一起，到底能聚出多少类，是数据本身决定的。例如：自动收集客户经常问到的问题。（我们无法预知客户有多少问题，只能把同一个意思的问题聚合在一起）
回归问题	输出是一个数值，更重要的是，评价输出好坏的标准是误差大小，而不是二元的对错。举例：跟据专车司机每天工作的时段、时长、跑的公里数，预估他一天的净利润。
决策问题	输出是连续的一系列动作，每一步动作都有代价或收益，每一步的动作本身没有对错，而是要最大化最终的收益。举例：打游戏、下棋、无人驾驶、对话、量化投资。
概率密度估计	在机器学习的问题中，想直接去做概率密度估计是非常难的。考虑到深度学习的训练过程中，需要做反向传播，那么某些概率分布，比如后验概率就需要变得非常简单，这样才能高效、容易得计算导数。

复杂问题的两个视角

信息抽取，实体识别，内容生成本质上都是分类问题
在 ChatGPT 时代，上述很多问题都可以从文本生成的角度解决

划重点：

把 ChatGPT 看做是一个函数，给输入，生成输出
任何业务问题，都可以用语言描述，成为 ChatGPT 的输入，就能生成业务问题的结果
实际生成中，算法工程师通常需要根据业务 know-how 将上述基本问题串起来。理解问题本质，对拆解任务有很大帮助！

测试 ChatGPT 解决能力

[2]:

# 加载环境变量
import openai
import os

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = """
根据给定的新闻标题，判断该新闻属于“政治”、“经济”、“科技”、“娱乐”中的那一类？直接给出答案，不用分析，不用评论。

ChatGPT 写电影剧本了，未来好莱坞大片或将用上这项技术。
"""

response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=240,
    temperature=0
)

print(response.choices[0].text)

[ ]:

科技

✅ 成功

收起

[3]:

# 加载环境变量
import openai
import os

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = """
判断以下句子中是否是同一个意思的聚合在一起？

月薪多少
一个月赚多少钱
吃饭贵吗
月薪不够花怎么办
每个月赚的都没花的多咋整
月入水平

输出'[]'标识的数组，每类一组，直接给答案，不用分析，不用评论。
"""
response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=1200,
    temperature=0
)

print(response.choices[0].text)

[ ]:

[月薪多少, 一个月赚多少钱, 月入水平]
[吃饭贵吗]
[月薪不够花怎么办, 每个月赚的都没花的多咋整]

✅ 成功

收起

[4]:

# 加载环境变量
import openai
import os

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = """
小明是配送员，过去5天的送单数，配送公里数和净收入如下：
第一天：送单数5，配送公里数10，净收入400
第二天：送单数6，配送公里数12，净收入480
第三天：送单数10，配送公里数30，净收入700
第四天：送单数2，配送公里数1，净收入190
第五天：送单数8，配送公里数3，净收入770

第六天：小明送单数9，配送公里数11，净收入应该是多少
"""
response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=4000,
    temperature=0
)

print(response.choices[0].text)

[ ]:

根据过去5天的数据，我们可以计算出小明每单的平均净收入和每公里的平均净收入，
然后使用这些平均值来估计第六天的净收入。

平均每单净收入 = (400 + 480 + 700 + 190 + 770) / 5 = 508

平均每公里净收入 = (400 + 480 + 700 + 190 + 770) / (10 + 12 + 30 + 1 + 3) = 27.93

第六天的送单数为9，配送公里数为11，因此可以估计第六天的净收入：

第六天的净收入 = 平均每单净收入 * 送单数 + 平均每公里净收入 * 配送公里数
= 508 * 9 + 27.93 * 11
= 4572 + 306.23
≈ 4878.23

因此，根据过去5天的数据，我们估计第六天小明的净收入应该约为4878.23元。
请注意，这只是一个估计值，实际情况可能会有所不同。

❌ 失败

收起

[5]:

# 加载环境变量
import openai
import os

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = """
Assume are playing a Tic-Tac-game.
The play who have three stones in a vertical/horizon/diagonal line wins.
The rows of the board are indexed 1,2,3.
The columns are indexed by A,B,C. Currently, the stones are placed at:
1,A = 'O'
1,B = 'O'
1,C = 'X'
2,B = 'X'

Please draw the current board using '|'','-'','_','O','X' only
"""
response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=4000,
    temperature=0
)

print(response.choices[0].text)

[ ]:

    A | B | C |
1 | O | O | X |
  |---|---|---|
2 |   | X |   |
  |---|---|---|
3 |   |   |   |

✅ 成功 or ❌ 失败？

收起

[6]:

# 加载环境变量
import openai
import os

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())  # 读取本地 .env 文件，里面定义了 OPENAI_API_KEY

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = """
We are in a fresh Ubuntu system, which only has basic commands and no software installed.
We need to run a mysql server in a docker.
Generate step-by-step commands for this task.
Create a new table in the database, with three columns: id, name, age. 
Out commands only. No comments, no acknowledgements.
"""
response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=4000,
    temperature=0
)

print(response.choices[0].text)

[ ]:

# 1. Install Docker:
sudo apt update
sudo apt install docker.io

# 2. Start the Docker service:
sudo systemctl start docker

# 3. Pull the MySQL Docker image:
sudo docker pull mysql

# 4. Run a MySQL Docker container, specifying a root password and mapping the container's port 3306 to the host's port 3306:
sudo docker run --name mysql-server -e MYSQL_ROOT_PASSWORD=<root_password> -p 3306:3306 -d mysql

# 5. Access the MySQL container:
sudo docker exec -it mysql-server bash

# 6. Connect to the MySQL server:
mysql -u root -p

# 7. Create a new database and table:
CREATE DATABASE <database_name>;
USE <database_name>;
CREATE TABLE <table_name> (
    id INT PRIMARY KEY AUTO_INCREMENT,
    name VARCHAR(50),
    age INT
);

# 8. Exit from the MySQL server:
exit;

# 9. Exit from the MySQL container:
exit

Now you have successfully set up a MySQL server in a Docker container and created a new table with three columns (id, name, age) in the database.

✅ 成功

收起

他是怎么生成结果树的

简单点来讲，它只是根据上文，猜下一个词（的概率）…

OpenAI 的接口名就叫「completion」，也证明了其只会「生成」的本质。

下面用程序演示「生成下一个字」。你可以自己修改 prompt 试试。还可以使用相同的 prompt 运行多次。

[7]:

import openai
import os
import time

from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())

openai.api_key = os.getenv('OPENAI_API_KEY')

prompt = '今天我很'
# prompt = '今天我想'
response = openai.Completion.create(
    model="text-davinci-003",
    prompt=prompt,
    max_tokens=100,
    temperature=0,
    stream=True
)

print(prompt, "/>")
# print(response.choices[0].text)

for chunk in response:
    print(chunk.choices[0].text, end='')
    time.sleep(0.2)

[ ]:

今天我很 />
开心

I'm very happy today.
---
今天我想 />
说的是

今天我想说的是，要珍惜当下，把握机会，勇敢追求自己的梦想，不要被外界的压力所压制，要勇敢地去拥抱自己的未来！

收起

划重点：用不严密但通俗的语言描述 ChatGPT 的工作原理：

GPT「大模型」阅读了人类曾说过的所有的话。这就是「学习」
把一串词后面跟着的不同词的概率记下来。记下的就是「参数」，也叫「权重」
当我们给它若干词，GPT 就能算出概率最高的下一个词是什么。这就是「生成」
用生成的词，再加上上文，就能继续生成下一个词。以此类推，生成更多文字

你用 ChatGPT 做过的事，是不是都能用这个原理解释？

OpenAI API 基础

安装python库

pip install --upgrade openai

[8]:

import openai
import os

# 加载 .env 文件
from dotenv import load_dotenv, find_dotenv
_ = load_dotenv(find_dotenv())

# 从环境变量中获得你的 OpenAI Key
openai.api_key = os.getenv('OPENAI_API_KEY')

# 模型列表
models = openai.Model.list()

for model in models.data:
    print(model.id)

[ ]:

davinci
gpt-4
gpt-3.5-turbo-16k-0613
text-davinci-001
text-search-curie-query-001
gpt-3.5-turbo
babbage
text-babbage-001
gpt-4-0613
gpt-3.5-turbo-16k
curie-instruct-beta
davinci-similarity
code-davinci-edit-001
text-similarity-curie-001
ada-code-search-text
gpt-3.5-turbo-0613
text-search-ada-query-001
babbage-search-query
ada-similarity
text-curie-001
text-search-ada-doc-001
text-search-babbage-query-001
code-search-ada-code-001
curie-search-document
davinci-002
text-search-davinci-query-001
text-search-curie-doc-001
babbage-search-document
babbage-002
babbage-code-search-text
text-embedding-ada-002
davinci-instruct-beta
davinci-search-query
text-similarity-babbage-001
text-davinci-002
code-search-babbage-text-001
text-davinci-003
text-search-davinci-doc-001
code-search-ada-text-001
gpt-4-0314
ada-search-query
text-similarity-ada-001
ada-code-search-code
whisper-1
text-davinci-edit-001
davinci-search-document
curie-search-query
babbage-similarity
ada
ada-search-document
text-ada-001
text-similarity-davinci-001
curie-similarity
babbage-code-search-code
code-search-babbage-code-001
text-search-babbage-doc-001
gpt-3.5-turbo-0301
curie
davinci:ft-personal:100qa-2023-03-06-07-35-38
ft:gpt-3.5-turbo-0613:agi-class::7rFIG3Mf

收起

[9]:

# 消息格式
messages = [
    {
        "role": "system",
        "content": "你是AI助手.你是考研班的的助教。这门课每周二、四上课。"
    },
    {
        "role": "user",
        "content": "你是干什么的?什么时间上课"
    },

]

# 调用ChatGPT-3.5
chat_completion = openai.ChatCompletion.create(
    model="gpt-3.5-turbo", messages=messages)

# 输出回复
print(chat_completion.choices[0].message.content)

[ ]:

我是一个AI助手，专门为学生和教师提供帮助和支持。我是考研的助教，这门课每周二和周四上课。
如果你有关于这门课的问题，我会很乐意帮助你。

收起

FAQ

Q1：中国大模型与 ChatGPT 的差距在哪?

科学方面：

gpt3 与现在国产大模型能力差不多，甚至不如国产大模型。
gpt3.5 能力暴增，用了人的对齐加强化学习。

对齐方面：

数据标注请了大量的博士，语言学家去做这个事。强化学习里面有很多tric，对于资深的从业人员也有挑战。投入的精力，经验，下的功夫都有差距。这是主观因素。

客观因素：

中文的复杂性要比英文高许多，单字的歧义要比英文大很多，比如，哪家饭店好？有误导性质。中文难训，另外 OpenAI 没有公开训练方法。

从底层开始训，需要时间，投入，耐心。

Q2：能举一个 ChatGPT 为企业提效的例子吗?

原来在 NLP 领域需要很高成本的数据分析，数据挖掘，现在都可以提效。比如快递行业的信息提取。上面有例子

Q3：预训练能解决遗忘吗?

解决遗忘是通过 Embedding 解决的。在 LangChain 里有记忆力机制。

Q4：ChatGPT 生成 PPT 怎么样?

效果不好，内容还可以，美工差的有点远。有难度。

Q5：AI 算不算大数据建设的能力项?

算吧，大数据包含的内容很广，有结构化数据和非结构化数据。非结构化数据的结构化是 AI 擅长的能力。

Q6：特别长的文本分析有什么好办法?

上下文如果表示不下，文本需要拆段，从 embedding 向量找相似的那段。或者摘要，每1000个字生成摘要，去压缩信息。总结：分段检索，增量摘要。更深，具体问题讨论。

Q7：ChatGPT 有意识吗?

没有，就是一个概率模型。

Q8：OpenAI 做计算题是什么逻辑?

本质上是思维链。把问题一步一步展开的过程是在丰富上下文。丰富了上文的时候，下文就收敛了。再加上见多了很多1+1， 1+2的问题。如果考一个特别大的加减法计算，大概率算不对。本质上不懂加法，还是靠概率。

Q9：可以做生成 ppt 的 plugin 插件吗?

Office365 可以自动生成模版，但用的不是大模型的能力，大模型主要是生成内容。

Q10：OCR 原理什么?

第一步，先从图片里把文字框出来，text-detection

第二步：text-orientation 识别文字的朝向，正，反，角度。

第三步：识别

Q11：训练一个行业数据需要多久?

看数据量和显卡数量。

以 GPT2 举例，数据集文本在硬盘上40多个G，展开到内存里500G，12层的 transformer，768 * 768 训练这个模型 8 卡 A100 需要两周。可以以此作为参考。

Q12：让 GPT 学习业务和训练模型是一回事吗?

不是，学习业务的语言是 Prompt 形式。训练是训练。

Q13：必应 ChatGPT 和 OpenAI 是一回事吗?

是，微软代理了 OpenAi 的接口。

Q14：传统行业有哪些落地方向?

数据分析和智能体，计算机视觉等。

Q15：大模型对生物医药和抗体的帮助?

医药有大量的实验，例如原料的排列组合实验，可能别人已经做过了且发表了。用 NLP 技术去挖掘这套实验是不是别人做过了？可以节省人力物料成本。

Q16：ChatGPT 上传企业数据有风险吗?

ChatGPT 拥有企业级私有数据保护协议，需要法务看冲突的点。

Q17：AI 招聘是什么逻辑?

分析简历，给候选人打标签，能力评估等等。

Q18：在数据分析上的方向有哪些?

非结构化数据结构化，智能体，数据分析可以自己推理。

Q19：如何看着知识回答问题?

需要把知识和问题同时喂给它。

Q20：游戏行业从人工智能可以获取哪些便捷?

智能 NPC，可以无限制的和你对话交流。游戏剧本的设计。但是不成熟，里面有很多套路，抓心流（Flow），开放剧情，不写死。

Q21：向量可以下载到本地吗?

不能。

Q22：国内 C 端如何落地?

目前国内大模型达不到商用标准，使用 OpenAi 在国内合规性又做不到。落地难，C 端目前存在这些问题。

什么是 AGI

AGI 定义

AI 起源

ChatGPT 能干什么

解决业务问题的一个例子

从 AI 的视角，怎么定义我遇到的业务问题

测试 ChatGPT 解决能力

他是怎么生成结果树的

OpenAI API 基础

FAQ

Q1：中国大模型与 ChatGPT 的差距在哪?

Q2：能举一个 ChatGPT 为企业提效的例子吗?

Q3：预训练能解决遗忘吗?

Q4：ChatGPT 生成 PPT 怎么样?

Q5：AI 算不算大数据建设的能力项?

Q6：特别长的文本分析有什么好办法?

Q7：ChatGPT 有意识吗?

Q8：OpenAI 做计算题是什么逻辑?

Q9：可以做生成 ppt 的 plugin 插件吗?

Q10：OCR 原理什么?

Q11：训练一个行业数据需要多久?

Q12：让 GPT 学习业务和训练模型是一回事吗?

Q13：必应 ChatGPT 和 OpenAI 是一回事吗?

Q14：传统行业有哪些落地方向?

Q15：大模型对生物医药和抗体的帮助?

Q16：ChatGPT 上传企业数据有风险吗?

Q17：AI 招聘是什么逻辑?

Q18：在数据分析上的方向有哪些?

Q19：如何看着知识回答问题?

Q20：游戏行业从人工智能可以获取哪些便捷?

Q21：向量可以下载到本地吗?

Q22：国内 C 端如何落地?

欢迎使用 Cloud Shell

`AGI` 定义

`ChatGPT` 能干什么