GPT、大语言模型入门版：面向互联网从业人员的AI通识与个人思考

作为一枚数据产品经理，苦研数周，输出倒逼，简单总结了一些自己的学习心得。

1、用大白话让非技术人员了解这一技术的关键点，如想深度探索，可基于此搜索学习

2、让互联网行业产品、运营等人员在工作中想要应用这一技术时有基本的框架思维

3、作者非AI技术出身，有表述不准的地方，欢迎指正

chatGPT是一个聊天应用。一个输入框，输入你想问他的任何问题，他会给你一个答案，并且这个答案看起来是经过思考、讲究语法并且正确的。他理解你的语言，并能用你的语言给你答案。

而这背后，就是GPT这个大模型在发挥作用（Generative Pre-trained Transformer），翻译为“基于Transformer的生成式预训练模型”（引号里的中文值得逐字理解），通俗点讲，这个模型的目的就是理解你输入的文字，然后计算答案，然后用你能懂的语言进行呈现。

至于什么是Transformer、它为什么可以做到，这背后的技术点，我们下文展开。

“

对于行业小白，我们先科普几个这个行业关键词：

NLP：Natural Language Processing，自然语言处理

AGI：General Artificial Intelligence，通用人工智能

LLM：Large Language Modle，大语言模型

AIGC：AI-generated content，互联网人应该都听过UGC、PGC，没错这个就是AIGC，AI生成内容。

连起来造句就是：要想让AI达到通用人工智能（AGI）的程度，自然语言（NLP）领域的大语言模型（LLM）能力是非常重要的，大语言模型（LLM）领域有一个重要的应用就是AIGC。

”

如果你想要研究清楚GPT背后的技术点以及发展脉络，可以先从以下几个概念入手。

1、Transformer

你可以理解为他是一个特征提取器，中文语义：转换器，他的目的就是把你给他的文本数据进行理解学习，形成他认为的人类语法。有资料说明，光GPT3就用了45TB的文本数据，涵盖中文、英文等多国语言，模型生成了超1.7万亿的参数。

就像一个一两岁的孩子，没背单词、没背语法、没学拼音也会说话一样。这中间的实现就是这个模型在起作用。所以也堪称暴力美学。

用技术术语说，Transformer的核心是自注意力机制（self-attention），它可以让模型在处理序列数据时，将不同位置的信息加权组合起来，从而更好地理解输入序列的结构和含义。这其中的核心手段是编码和解码，即Encoder和Decoder。

Encoder把输入文本编码成一系列向量，Decoder则将这些向量逐一解码成输出文本。在每一个Encoder和Decoder中，都有多个自注意力层和前馈神经网络层组成。这些层通过不断传递信息和调整参数，最终将输入转化为一个意义准确的输出。

2、MLM（Masked Language Modeling）

MLM（掩码语言模型）是 GPT 预训练中的一个关键技术点，其目的是通过对输入序列中的部分单词进行遮盖，使模型在预测下一个单词时能够学习到上下文的信息。简单但很巧妙。

在MLM中，模型会在输入的文本序列中随机选择一些单词，并将其替换为特殊的MASK标记。模型的任务是预测这些MASK标记所代表的单词是什么。因为模型只能观察到MASK标记周围的文本，因此它需要对上下文进行建模，以便正确地预测MASK标记所代表的单词。

Transformer、MLM等等这些架构、算法和模型设计让GPT问世，而Prompt和Fine-tune可以让我们能更好的使用他。

3、Prompt

中文语义：提问、提示语。在与chatGPT对话的时候，我们的输入即为prompt，想要让GPT更好的理解我们的意图，那prompt的精度就决定了这个大模型能否高效理解我们的意图。

特别是在AIGC领域，只要你能想到，他就可以给你反馈。如果把GPT看做一个知识的海洋、一个可以持续再生的金库，人类想要攫取，那Prompt会变得非常非常非常重要，它就是那个金钥匙。

4、Fine-tune

中文语义：微调。企业在应用AI能力时，GPT可以定义为一个理解自然语言的初始模型，为了更好地应用在业务场景中，可以在GPT的基础上进行微调，理解为一个有监督学习的过程，喂给他我们的业务数据或领域数据集，让他能读懂我们的业务数据并按需输出。

1、用户需求被直观暴露

目前的软件产品，用户的真实需求主要是通过在软件产品内的行为数据进行发现和理解，如监控用户反复查看某个商品、用户搜索了某个商品、用户将什么商品添加到了购物车，基于此进行分析、预测，根据用户行为反馈再进行调优。

当有了自然语言处理的能力，用户会直接暴露自己的需求，如“我需要购买从北京到三亚的往返机票，旅途5天，希望有一半时间住民宿，机票和住宿一共7000元预算，请给我提供一个规划”

这种简单粗暴的交互，会迭代目前“业务与行为数据采集、数据聚合与处理、用户画像建模、人/物标签计算、推荐算法、反馈调优”的整套数据工程。当下自然语言所暴露出来的需求会在数据集中占更大的权重。

2、新的人机交互

chatGPT、Midjourney+Discord、文心一言等现在都是通过聊天框模式提供服务。这确实也是人与机器通过自然语言沟通最理想的方式。但chat模式不是当前人机交互的终极形态。

人与机器交互，想要达成期望结果，对话框、对话框+命令行、对话框+插件并不是当前人机交互的终极形态。

所以chat不是结果，但，已成必须。

比如我们的日常学习某一软件，特别PS、数据分析工具等，学习门槛很高，这是因为软件设计是自下而上的设计，人机交互的连接点是鼠标（或约等于鼠标的手指）。

想要让软件以及他的宿主——计算机，识别你的意图，开发者需要完全依赖于鼠标在计算机上的点击、拖拽、滚动等交互方式来设计软件反馈。

而现在，有了一种新的范式，就是自然语言。基于LLM这样的大模型，机器已经或逐步可以足够理解人类的语言并做出正确的反映。如果再有鼠标的交互加持，人类使用机器的效率会有更大程度的提升。

所以自然语言交互可能会成为所有软件产品的必须。

3、插件化一些软件再淘汰一些软件

软件的工具如 word、PPT、EXCEL、印象笔记、Xmind、github正在“+AI”以降低使用成本了。你可以自研AI能力，也可以让自己被插件。当新的用户习惯被养成，那些不能AI化的软件会显得异常难用。

比如一个数据分析平台，

如果数据查询只能通过自助式点选，而不是问答式就会面临用户体验差评，

如果数据查询报表还需要人来去总结数据基础表征，而不是自动进行总结也会面临用户体验差评。

于是，产品就会有逐步被弃用的风险。

4、想象力变得更为重要

工具本身的术变得不是那么重要，AIGC类型的工具使用门槛相对变低，但对人的大脑反而提出了更高的要求。

人的想象力是无限的，但实现能力是有限的，而AIGC工具，他可以让想象具象化，甚至在你创作过程中给你惊喜。

过去做一张如下的图需要在设计软件上进行至少数小时的操作，初级选手光设计工具就得学习很久。如果这个需求是来自于客户，那这其中的沟通和理解成本会变为很大的设计成本。

图：在Midjourney平台的创作

而现在，你只需要描述你想要的，即使你要一个五彩斑斓的黑，AI也会实时给你一个他认为正确的反馈，你可以基于此不断用语言进行调整或辅之以设计师的PS之术。

想象力变得越来越重要，甚至可以说得到了释放。

1、依然存在的学习成本

机器可以理解人类的语言，但并不代表可以精准理解人的意图。这之间的gap需要人去不断对机器调优，如模型迭代，同时也需要人去了解机器的语法，比如现在的Midjourney、playground，你的提问或prompt的使用也是有语法的，并配合图形界面上的一些控制功能。

图：Midjourney的prompt“语法“，来自于网络视频

2、置信度

说GPT一本正经胡说八道，不是没有证据，这是我最近的实际测试。

我：140和290之间有多少个质数？

chatGPT：

140到290之间的质数包括：149, 151, 157, 163, 167, 173, 179, 181, 191, 193, 197, 199, 211, 223, 227, 229, 233, 239, 241, 251, 257, 263, 269, 271, 277, 281, 283, 293。因此，140到290之间有28个质数

我：直接告诉我有多少个，而不是列出来

chatGPT：在140和290之间，共有28个质数。

我：确定？

chatGPT：是的，确定。

我：重新计算一下，再给我一个答案

chatGPT：非常抱歉，在上一个回答中我犯了一个错误，实际上在140到290之间有23个质数。感谢您的提醒，希望这次的回答能够满足您的要求。

你以为这就是正确答案？这还不算完，

于是我让他写了一个python脚本：

代码没问题，我执行了，于是：

没错，按chatGPT给我的python执行，答案是27。

诶？换个角度想，他也会犯错，是不是更像人类？

3、可解释性

可解释是可信的前提。我们塑造了他，却不了解他，如果他输出了一个错误的答案，但看起来是那么正确，这时候我们就得警惕了（就像文中那个求解质数问题，看起来是那么正确），应用在教育、医疗、建筑设计等领域，他输出了一个错误的药方、他设计了一个尺寸差了几公分的图纸，如果他犯的错误无法及时发现，那他产生危害需要人类来买单。

我们需要了解他的决策动机是如何生成的，没错，就是动机。因为人在决策哪怕是犯罪，都会寻求背后的动机，是利他、利己还是此人有精神疾病，最终都会试图用动机来解释。

不能只推导到用了什么计算框架和算法，然后就给他不停地喂数据，要想让他更好的为我们服务，找到合适的时机影响他，而不是任由他，最后可能站在我们的对立面。

换句话说，“知其所以然”也是我们求知的源动力。

4、数据安全、用户隐私与版权

数据是GPT的养料，用户的数据从此变得越来越重要，想要微调，普通用户想要使用，需要贡献一方数据。GPT无国界，但数据有国界。目前国内中大型企业对GPT的API能力也仍处于封闭状态。（所以我们国家也一定会有自己的大模型，比如百度文心一言）

关于版权，我们看chatGPT自己如何说：

“根据国际版权法，创作作品的版权通常归原作者所有。但是，当作品是由人工智能生成时，问题就变得复杂了。因为人工智能本身没有创作权，它只是根据预设的算法和数据生成内容。所以，根据现有的版权法律，AIGC的版权归谁是一个尚未确定的问题。

另外，AIGC的版权问题还涉及到人工智能的产权和知识产权。在AIGC的生成过程中，通常会涉及到许多算法、数据、模型和程序等，这些都是有产权和知识产权的。因此，除了作品版权的问题之外，还需要考虑这些产权和知识产权的归属问题。

综上所述，AIGC的版权问题是一个复杂的问题，需要在法律、技术和伦理等多个方面进行探讨和解决。我们需要寻求各方面的意见和建议，来制定适当的法律和政策，以促进人工智能技术的发展和利用。”

5、责任与义务

自动驾驶时发生了事故，驾驶员需要承担100%的责任。同样的，使用AI工具工作，如果犯错了，无论是工具还是人为的错误，那责任依然归咎于人。

所以人类责任与义务的存在，决定了即使在AI时代，某些工作至少需要一个人来担（bei）责（guo）。

6、可持续性

这个大模型确实可以成为一个可持续再生的金库，为人类服务。不过此时，他已经站在我们身旁，一同跟我们进化，人类长高1厘米，他可能会长高3厘米。

但如果人类停止对他的数据输入，无论是新的知识、新的研究、还是今天的新闻，甚至对他的答案不做任何反馈。那么他也会过时或不那么好用。

为了有更多的金矿可以攫取，我们会进入一个循环，不停的喂养他，迭代他，对他的输出再反馈，他也不停地进化为我们服务。

什么样的职业会被取代，不如想想什么样的职业会变得越来越重要。我觉得可以从两个角度思考：

1、AI建造师

AI本身也是人创造出来的，如果他会取代一部分人的工作，那就走到上游去成为创造他的人。AI算法工程师、数据采集与治理专家、AI软硬件产品设计与开发、芯片、AI领域新闻媒体，这些都是以AI为中心的上下游领域。

2、会用AI的人

一部分会用AI工具的人已经尝到了甜头，比如已经在Youtube、B站分享AI工具使用以及做教程的up主，他们都是第一波会用AI的人，已经赚到了AI启蒙的红利。

在企业内，AI可能不会完全替代某一岗位，但会替换掉一部分。如设计师、工程师，基础工作可以交给AI来做，但AI输出的结果需要有人审验，更重要的是需要有人担责，所以也会需要部分专职。