.jpg)
视频是关于GPT的底层原理和未来影响。将抛开技术细节，少用专业名词，在整体功能上讲解ChatGPT 的「工作原理」「制造过程」「涌现的能力」「未来的影响」以及「如何应对」：
1、ChatGPT是如何回答问题的
2、它是怎么被制造的，为什么它不是搜索引擎
3、它有哪些惊人能力，为什么它不只是聊天机器人
4、它将给社会带来什么样的冲击
5、我们该如何维持未来的竞争力
总结1
一、底层原理
- 生成文段的原理：单字接龙与自回归生成。基于上文生成下一个单字，同时把自己新生成的单字归入上文，继续生成下一个单字。若上文对应多个单字，则基于概率分布随机抽取。
- 如何生成合理的回答：输入回答范例让模型学习，从多个类似范例中形成通用规律，从而面对数据库未储存的问题，能够基于通用规律回答出数据库中不存在的文本。
- 因此它不同于搜索引擎，搜索引擎只能呈现数据库中存在的文本。
- 由此导致的缺陷：混淆记忆。基于通用规律生成的文本可能并不正确。人们由于无法直接查看其依赖的数据库和其学习方式，难以对其回答进行证实证伪。
二、ChatGPT的三阶段训练
- 无监督学习（开卷有益）：对模型输入海量的互联网文本，让模型自己学习、做单字接龙（GPT-3学习材料45TB，参数1750亿，变成了超大模型LLM）。
- 监督学习（模板规范）：输入人工写好的优质对话范例，让模型学习如何组织符合人类规范的回答。例如对不知道的问题回答“不知道”而非乱说，对错误的问题指出错误而非顺着说，对违法的问题指出违法而非直接回答。
- 强化学习（创意引导）：不再要求ChatGPT按对话范例回答，而是直接向它提问，让它自由回答。对回答进行人工评分，奖励有创意的回答。
- 当单字接龙达到超大规模，成为LLM后，出现了3个意外能力：
- 理解指令：因为可以把各种任务要求（归纳、拆分、仿写、润色、洗稿、比对、翻译）等都以优质对话范例的形式输入模型，ChatGPT可以理解各种指令，支持各种任务。
- 理解例子（语境内学习）：ChatGPT可以通过用户输入的若干例子，来明确用户想干什么，处理新的要求。这种能力如何产生目前还无定论。
- 思维链：若要求ChatGPT分步思考，它就可以一步步连续推理，且最终答对的可能性大幅提升。
三、ChatGPT的意义
类似一次试点火实验，它展示了大语言模型（LLM）的可行性，使全世界愿意投入更多到LLM的开发改进中，使LLM变得更好用、更便宜，更多相关产品得以普及。
四、LLM的应用价值
自然语言处理技术（NLP）实现理解自然语言后，能够帮助人类处理海量语言内容，使一个普通人快捷准确地接触到各行各业的平均知识，从而提高人们【创造、继承和应用知识】的语言处理效率。
- LLM自身不能改造世界。因为其对语言的“理解”与人类不同，不认识语言符号的指代对象，只是学会了【承载知识的语言搭配模式】。所以其身份是成为人类的工具（百科全书），由人类对模型的回答进行解读和实践。
五、LLM的社会影响
- 深影响行业：与【语言中的知识】密切相关的行业：学术界-创造知识（eg: 人机科研），教育界-传承知识，新闻界-传播信息。
- 教育界的挑战：现有的教育模式主要是“传授既有知识”，但有可能未来人们学到的所有知识LLM也都拥有。因此需要新建教育的理论框架，转向主要传授“学习能力和创造能力”，并且需要将“人的更高层次的创新”与“LLM的创新”区分开来。
- 网络安全的挑战：ChatGPT可能输出违法信息。如何确保提问中的商业、国家机密不被泄露。由于数据安全问题，各国、各公司可能会开发自己的LLM，但如何实现数据规模效应，实现联邦学习。
六、如何应对
- 克服抵触心理。很多人会因为害怕被取代而抵触新工具，但这只会让我们更晚学会利用新工具，更晚获得新工具带来的优势。
- 重塑终身学习能力。应试教育使人习惯将与分数有关的学习才称为“学习”，有学校之外不愿学习的怠惰心理。但GPT-4后还会有新工具出现，只能靠自己学会终身学习。
- 国家重视。LLM可能是一项升级人类学习系统的技术，带来新一轮工业革命，国家不能错过。
总结2
写在前面：
视频其中提到自然语言模型与现实人类社会的问题进行的个人总结
（个人的思考能力固然是有限的，欢迎大家在评论区探讨）
**标题：【**Ep.1 万字科普ChatGPT-4为何会颠覆人类社会】
作者原意主题是「为什么所有人都应关注ChatGPT」
作者先是解释了 GPT的原理【单字接龙】进而引出GPT版本。
是有三部训练的【开卷有益】【模板规范】【创作引导】。
未来影响的【应用价值】和【社会影响】。
【如何应对】ChatGPT 非常强大，但它仍是一个没有意识的工具，
不会主动配合人，面对空洞的提问就给出空洞的回答，
需要被【正确地使用】，才能发挥最大的价值。
【克服抵触心】【个人学习能力】【国家的竞争力】
1、ChatGPT是如何回答问题的
- 答：ChatGPT的实质功能是单字接龙
- 长文由单字接龙的自回归所生成
- 通过提前训练才能让它生成人们想要的问答
- 训练方式是让它按照问答范例来做单字接龙
- 这样训练是为了让它学会「能举一反三的规律」
- 缺点是可能混淆记忆，无法直接查看和更新所学，且高度依赖学习材料。
2、Chat-GPT它是怎么被制造的，为什么它不是搜索引擎
总结：
开卷有益：【超大语言模型（LLM）】缺陷：【胡言乱语】需要规范。
模板规范：【优质对话范例】，【什么该说什么不该说】引用台词：不利于XX的话不要说。
进而引发【回答不知道】，【你说问题的是错误的】，在回答二极管问题时【不仅仅是回答对错而是原因】。
创意引导：根据【人类对它生成答案的好坏评分】来调节模型，以引导它生成人类认可的【创意回答】。
【使ChatGPT变成既懂规矩又会试探】的聊天机器人。
：
我的理解是GPT家族的模型并不真的理解语意，把句子和句意联系起来。它们“能够明确接受到的语言符号”
引用作者总结:
（1）对于ChatGPT而言，一个token是一个语言符号。
（2）“能够明确接受到的语言符号”是指，它能够明白你发的这个单词，是它字典中的哪个一，甚至包不包括在它的字典中，也可以「明确」。
（3）不同符号间的关系就是，A句子和B词汇，到底说的是不是一回事，它能判断。
（4）ChatGPT的强，在于第三章提到的「涌现能力」，至于为什么会出现这几个能力，大家还在研究
3、它有哪些惊人能力，为什么它不只是聊天机器人
4、它将给社会带来什么样的冲击
首先要讨论的就是「大语言模型能为人类做什么」，只有弄清楚这一点，才有依据判断「它对社会的影响」。
【应用价值】自然语言处理技术（NLP）应运而生，也就是 ChatGPT 所隶属的技术，其目标是让机器“理解”自然语言，协助人类处理繁琐的语言类工作，所以 NLP 也被誉为“人工智能皇冠上的明珠”。
【社会影响的预测】由于大语言模型所能改善的是：群体协作过程中「创造、继承、应用知识」时的「语言处理效率」。所以随着技术的发展，大语言模型对社会的影响范围将和当初「电脑的影响范围」一样，即「全社会」。
引用作者总结：
- 跟「搜索引擎」结合：帮助用户精准寻找和筛选信息，比如，微软的 new bing。
- 跟「笔记工具」结合，辅助阅读和写作，比如，notion，Flow us，wolai。
- 跟「办公软件」结合，辅助文字处理、数据分析和演示制作，比如，office的下一步动作。
- 跟「教育培训」结合，定制个人的学习计划和学习材料，全天家教。
- 跟「开发工具」结合，辅助编写业务代码、调试纠错。
- 跟「动画小说」结合，辅助小说配图、配乐。
- 跟「客服系统」结合，7x24小时随便问，没有任何情绪。
- 跟「视频会议」结合，多语翻译、会议记录与总结、谈话查找。
- 跟「评论审核」结合，筛选评论、统计舆论、给出提醒。
- 跟「行业顾问」结合，提供法律、医疗、健身等指导。
- 跟「社交媒体」结合，帮助找到兴趣相投的用户和话题 。
- 跟「视频娱乐」结合，个性化推荐音乐、电影、小说、动漫。
- 跟「游戏剧情」结合，让 NPC 给玩家带来更灵活的对话体验。
大语言模型对【网络安全】的威胁。
5、我们该如何维持未来的竞争力
ChatGPT并不会让你失业，但会熟练使用ChatGPT的人会让你失业。
引用作者总结：
总的来说，ChatGPT 的出现确实带来了各种各样的问题和风险：存在准确性和可解释性的缺陷，存在科技伦理安全和结构性失业的冲击，存在民族文化和意识形态的侵袭。
但这些问题和风险，所有国家都要面对，一样会有害怕和抵触的情绪，我们应该利用这一点，率先克服抵触心理，反过来抓住 ChatGPT 的机会，率先研究大语言模型的改进和配套技术的重组；率先培养终身学习能力和推动教育改革；率先做好科技伦理的约束和换岗转行的防备；主动输出我们的文化和价值观。
最后，我非常喜欢一个UP说过的一句话：【工具无法取代人，只有会用工具的人取代不会工具的人】
真正需要害怕的是我们「无法成为会用工具的人」，可并没有人阻止我们探索工具，能够阻止我们的只有我们自己的心态和学习能力。
谢谢各位看到最后。
希望对阅读笔记的朋友有些帮助。
总结3
- ChatGPT技术可以影响整个人类社会。
- **工作原理：**包括生成下一个字、自回归生成、模型本身的影响等;
- **训练方式：**使用学习材料来训练模型，并让模型学习提问和回答的通用规律，以便在未被记忆的情况下仍能生成用户想要的回答；
- ChatGPT与搜索引擎的不同，ChatGPT可以创造不存在的文本，但也存在混淆记忆的风险。
- ChatGPT的**实质功能：**单字接龙长文，通过提前训练才能让他生成人们想要的回答。
- ChatGPT的内容无法被直接增删改查，决策缺乏可解释性，使用时带来安全风险。
- ChatGPT高度依赖数据，需要提供数量足够多种类足够丰富，质量足够高的学习材料。
- ChatGPT的三个训练阶段：开卷有益阶段、模板规范阶段和创意引导阶段。
- **开卷有益阶段：**让ChatGPT对海量互联网文本做单词接龙，以扩充模型的词汇量和语言知识世界的信息与知识。
- **模板规范阶段：**让ChatGPT对优质对话范例做单词接龙，以规范回答的对话模式和对话内容。
- **创意引导阶段：**让ChatGPT根据人类对它生成答案的好坏评分来调整模型，以引导它生成人类认可的创意回答。
- **ChatGPT涌现出的能力：**当单字接龙模型的规模达到一定程度后，就会涌现出理解指令、理解粒子、思维链等能力。
- **ChatGPT的意义：**虽然ChatGPT从产品形态和技术创新上来看不够完善，但它完成了一次验证，让全球都看到了大语言模型的可行性，吸引全球大力开发和改进大语言模型。
- 大语言模型将变得更好用、更快速、更便宜，相关产品也会普及；
- 大语言模型能够进行语法校对、翻译等，但真正有价值的是在精通语言的基础上，能存储人类从古至今积累的世界知识；
- 自然语言处理技术的发展可以协助人类处理繁琐的语言类工作；
- 合理使用大语言模型可以让人们更快捷准确地接触各行各业的平均知识；
- 大语言模型与搜索引擎、办公软件、教育培训、医疗健身等方面结合可以帮助用户更精准地寻找和筛选信息；
- 学术界、教育界、商业界和内容生产行业受到的影响最大。
- 现有的人才培养模式难以适应未来的就业市场，教育界需要转变培养模式，以培养学习能力和创造能力为主；
- ChatGPT的出现迫使人们加速推进培养创新性人才的目标，需要对知识的层级做更精细的划分，并提供相应的培养工具和易于实施的普及方案;
- ChatGPT的使用带来了网络安全和社会安全的新挑战;
- 面对新工具，应掌握其优点和缺点，正确使用；
- 克服自己的抵触心理，做好终身学习的准备。
- 应试教育对学生的学习能力产生了负面影响，导致很多学生对学习概念的理解变得片面和扭曲。
- 重塑自己的终身学习能力是最困难的一步，需要克服长期养成的错误习惯。
- ChatGPT会改变人类群体应用知识的方式和继承知识的方式，重塑人类学习系统，并带来新的认知革命，重组政治和社会。
- ChatGPT的出现带来了各种各样的问题和风险，包括准确性和可解释性的缺陷，存在科技伦理安全和结构性失业的冲击，存在民族文化和意识形态的侵袭，但这些问题和风险所有国家都要面对。
- 视频呼吁利用ChatGPT的机会，率先研究大语言模型的改进和配套技术的重组，培养终身学习能力和推动教育改革，做好科技伦理的约束和换岗转行的防备，主动输出我们的文化和价值观。
