人工智能（Artificial Intelligence, AI） 是一个广泛涉及计算机科学、数据分析、统计学、机器工程、语言学、神经科学、哲学和心理学等多个学科的领域，旨在研究、设计、构建具备智能、学习、推理和行动能力的计算机和机器。
机器学习（Machine Learing， ML）是一门研究计算机如何在没有明确编程的情况下，通过对数据进行分析、学习，自动改进其行为或做出预测的学科。它旨在使计算机系统具备从经验中学习的能力，以适应新情况、解决问题或完成特定任务。机器学习可以分为监督学习、无监督学习、强化学习。
深度学习（Deep Learning，DL）是机器学习的一个分支，主要使用神经网络模型（由多个隐藏层组成）对数据进行学习和表示。深度学习算法试图模拟人类大脑的工作方式，其灵感来源于神经生物学，它通过对大量数据的学习，自动提出数据的高层次特征和模式，从而实现图像识别、语音识别、自然语言处理等任务。按照架构的不同，神经网络可以分为：卷积神经网络（CNNs）、循环神经网络（RNNs）、Transformer网络等等。
生成式人工智能（Generative AI）又是深度学习中快速增长的子集，23年热门模型和应用ChatGPT、Stable Diffusion等都属于生成式人工智能领域，他们使用了大模型提供支持，在大量原始、未标记的数据基础上对深度学习模型进行预训练，使得机器能够“理解”语言甚至图像，并能够根据需要自动生成内容。
2021年，斯坦福大学的研究员团队发表了一篇论文，提出了Foundational Models（基础模型，即大模型）的概念。简单来说，它是一类具有大量参数（通常在十亿以上），能在极为广泛的数据上进行训练，并适用于多种任务和应用的预训练深度学习模型。大模型的训练整体上分为三个阶段：与训练、SFT（监督微调）、RLHF（基于人类反馈的强化学习）。
预训练（Pre-training）：预训练的过程类似于从婴儿成长为中学生的阶段，在这个阶段我们会学习各种各样的知识，我们的语言习惯、知识体系等重要部分都会形成;对于大模型来说，在这个阶段它会学习各种不同种类的语料，学习到语言的统计规律和一般知识。但是大模型在这个阶段只是学会了补全句子，却没有学会怎么样去领会人类的意图，假设我们向预训练的模型提问:”埃菲尔铁塔在哪个国家?”模型有可能不会回答”法国”，而是根据它看到过的语料进行输出:”东方明珠在哪个城市?”这显然不是一个好的答案，因此我们需要让它能够去遵循人类的指示进行回答，这个步骤就是SFT(监督微调)人类成长的过程实质上是不断预训练的过程，这与机器的预训练过程略有不同。
监督微调(SFT，Supervised Fine Tuning):SFT的过程类似于从中学生成长为大学生的阶段，在这个阶段我们会学习到专业知识，比如金融、法律等领域，我们的头脑会更专注于特定领域。对于大模型来说，在这个阶段它可以学习各种人类的对话语料，甚至是非常专业的垂直领域知识，在监督微调过程之后，它可以按照人类的意图去回答专业领域的问题。这时候我们向经过SFT的模型提问:”埃菲尔铁塔在哪个国家?”模型大概率会回答”法国”，而不是去补全后边的句子。这时候的模型已经可以按照人类的意图去完成基本的对话功能了，但是模型的回答有时候可能并不符合人类的偏好，它可能会输出一些涉黄、涉政、涉暴或者种族歧视等言论，这时候我们就需要对模型进行RLHF(基于人类反馈的强化学习)。
基于人类反馈的强化学习(RLHF，Reinforcement Learning from HumanFeedback)
RLHF的过程类似于从大学生步入职场的阶段，在这个阶段我们会开始进行工作，但是我们的工作可能会受到领导和客户的表扬，也有可能会受到批评，我们会根据反馈调整自己的工作方法，争取在职场获得更多的正面反馈。对于大模型来说，在这个阶段它会针对同一问题进行多次回答，人类会对这些回答打分，大模型会在此阶段学习到如何输出分数最高的回答，使得回答更符合人类的偏好。
按照应用场景，大模型可以大致分为：大语言模型（LLM）和多模态模型。
大语言模型(LLM):这类大模型专注于自然语言处理(NLP)，旨在处理语言、文章、对话等自然语言文本。它们通常基于深度学习架构(如Transformer模型)，经过大规模文本数据集训练而成，能够捕捉语言的复杂性，包括语法、语义、语境以及蕴含的文化和社会知识。语言大模型典型应用包括文本生成、问答系统、文本分类、机器翻译、对话系统等。
多模态模型:多模态大模型能够同时处理和理解来自不同感知通道(如文本、图像、音频、视频等)的数据，并在这些模态之间建立关联和交互。它们能够整合不同类型的输入信息，进行跨模态推理、生成和理解任务。多模态大模型的应用涵盖视觉问答、图像描述生成、跨模态检索、多媒体内容理解等领域。
提示词（Prompt）是用户发送给大语言模型的问题、指令或请求，来明确地告诉模型用户想要解决的问题或完成的任务，是大语言模型理解用户需求并据此生成相关、准确回答或内容的基础。对于大语言模型来说，提示词就是用户输入给大语言模型的文本信息。
直接提问，也称为零样本提示（Zero-Shot Prompting），即不给大语言模型提供案例，完全依靠 LLM 理解和处理能力完成任务。前文给的提示词例子，都属于直接提问。目前大部分开源和商用的大语言模型已经经过了大量的预训练和指令调试，能够很好的理解并响应用户的直接提问。适用于目标明确、问题简单、答案确定且唯一等场景。
在提示词中提供少量（通常几个或几十个）示例，也称为少样本提示（Few-Shot Prompting），以帮助模型更好地理解任务要求和期望输出。