人工智能 & 机器学习 on ClearSec Wiki

PyTorch 入门

Mon, 01 Jan 0001 00:00:00 +0000

如何成为一名神经网络训练师

Credit: 原作者 lifeihan

一、基本门槛

(1) 具有一定的数学基础：一定要对微积分、线性代数具有较好的掌握，作为基础中的基础。大一上的同学可以提前学习微积分下册的多元函数微分、偏导相关内容，相较上册无难度提升，在其基础上简要阅读即可了解并掌握。此外，有余力者可以学习概率论与数理统计的相关内容。此部分不建议自行系统学习相关课本等内容，而是在 AI 学习遇到时再进行查询学习。

(2) **掌握 Python 语言：**此处可参照酒井暑培 3.0 系列课程～

酒井科协暑培 3.0 基础 + 人工智能
建议不要死啃知识点，掌握最基础的知识后尝试跟着教程写一个小游戏或者诸如魔方求解一类的工具性程序，遇到不懂的进行查询学习，而非在全面掌握知识点后再开始写程序。然后再自行写一些小型程序进行巩固，这样才是最快掌握 Python 语言的方法。

(3) **对一些常用工具进行简要的学习掌握：**如 Vim、Git、Linux……此部分可参照大量网络教程或酒井暑培资料，此处不做过多赘述。

二、入门 PyTorch 的基础知识学习

(1) 机器学习相关基础知识： 机器学习的部分知识只作为理解深度学习知识的基础，不必在一些相较之下更深入的知识上进行纠结，~~因为我学完了回头不用也忘了~~。同时如果以 PyTorch 入门，训练神经网络为目的，不必进行相应的代码训练，而掌握知识点即可。此处对应该掌握的机器学习基础知识做一提纲，可对照着查缺补漏：

数据预处理：数据清洗、数据变换
特征工程：
- 特征工程
监督学习：
- 分类算法：K-近邻算法，决策树，朴素贝叶斯，Logistic 回归，SVM，Softmax 回归
- 回归算法：线性回归，局部加权线性回归
无监督学习：
- K-means，层次聚类，DBSCAN
模型评估方法：准确率，召回率，P-R 曲线，ROC，AUC，MSE
- 机器学习模型评估的方法总结（回归、分类模型的评估）

算法部分学习资料推荐：

视频推荐：吴恩达的机器学习课程（B 站搜索即可），可以高倍速过一遍，对相关内容有一定基础的理解，但是其不涉及几乎任何数学推导，而是傻瓜式的告诉你如何使用，这不是我们学习的目的，更建议在观看完前几节课有了一定了解后转 2。
对着知识提纲名字逐个在 CSDN/知乎/StackOverflow 搜索进行学习，而非啃书或者看视频，效率更高。
如果想对知识有更深入的理解，建议阅读李航的《统计学习方法》一书，相关知识点啃一遍后收获颇丰。（周志华的《机器学习》也称西瓜书也可考虑，笔者有但没阅读过故不做推荐，此书风评也不错～）

(2) **深度学习相关基础知识：**此部分知识建议首先以视频资料为起始进行了解学习，然后根据提纲进行拓展补充，查缺补漏～

视频资料推荐：李宏毅的机器学习课程（虽然叫机器学习，实则涵盖着大量的深度学习内容），老师风趣幽默，同时针对知识有着简明易懂的讲解，也不乏数学推导的自愿学习；针对一些延伸内容也有助教做了相关的学习讲解，非常推荐～
- 课程搬运视频链接：李宏毅 2021/2022 春机器学习课程
- 课程主页（作业链接，讲义下载使用）：Machine Learning 2021 Spring
  **注：**课程前 27 讲针对基础，务必看完；而后不一定要将后续所有课程学完，建议先行学习比较常见且基础的 CNN，Self-Attention，Transformer，RNN 部分，而余下的内容有余力可以全部学习，否则在以后需要时再观看学习更佳。
知识提纲：

对抗搜索

Mon, 01 Jan 0001 00:00:00 +0000

对抗搜索简介

前置知识

具有最基本的程序设计思想，对于深度优先搜素、广度优先搜索等最基本的搜索算法有着一定的了解。
在这篇文章中 Snake Go 会作为例子出现，其具体规则请参照 Saiblo 游戏链接。

概述

对抗搜索（英语：Adversarial search）是一个在博弈中选取决策的方法，它与博弈论密切相关。但是在本篇文章中，我们仅讨论一种特殊情况下的游戏，它具有以下特征：

游戏有且仅有两个玩家参与，分轮进行，双方轮流做出决策。
(Fair) 双方均知道游戏的一切完整信息。
(Markov) 任意一个游戏者在某一轮可以做出的决策只与当前轮的游戏状态有关，与之前或者之后的决策无关。
(Finite) 游戏一定会在有限轮内结束。
(Zero-Sum) 游戏结束时一定有一方胜利，另一方失败，不存在平局。
我们称某方胜利了，当且仅当在某一轮中轮到对方行动，但对方没有合法的决策。

值得特别指出的是，有些游戏可能不满足以上要求，但可以通过将其进行等价转化来得到。

比如游戏 Snake Go，它并不满足最后一条。但若将状态定义为 $(\mathrm{turn}, \mathrm{player}, \mathrm{context})$ ，这三元组分别表示轮数，当前玩家以及游戏的上下文。并且为玩家添加一个决策 $\mathrm{pass}$ ，当且仅当该玩家没有蛇时可用。为玩家添加一个决策 $\mathrm{win}$ ，当且仅当达到回合上限时分数较多（相等时后手）者可用。则改变后的游戏满足以上规则，并且与我们讨论的 Snake Go 等价。

对抗搜索是一种搜索算法，它解决的是这样的问题：给定一个游戏在某一轮的状态，在一定的时间和空间限制下，为当前行动的玩家提供一个决策，使得玩家之后更有可能胜利。

SG 搜索

我们首先讨论最简单的情况，如果我们有充足的时间和空间，由于游戏本身是有限的，并且游戏是公平的，那么对于一个给定的状态，其胜者是确定的。也就是说，如果我们遍历了这个状态可能拓展出的所有状态，就可能推断出这个状态的胜者。

为了简化描述，我们给出一些形式化的符号定义：

$s$ 表示游戏的一个状态，它通常是 $(\mathrm{turn}, \mathrm{player}, \mathrm{context})$ 的三元组，即游戏的轮数、该轮应当行动的玩家以及游戏的其他信息。

我们用 $\mathrm{player} = 0, 1$ 来分别表示两名玩家。为了简化描述，我们称 $\mathrm{player}$ 为状态 $s$ 的先手，对应地 $\mathrm{player} \oplus 1$ 为状态 $s$ 的后手。这里 $\oplus$ 表示异或。

NLP

Mon, 01 Jan 0001 00:00:00 +0000

0. 引言

您是否厌倦了人类之间使用离散语言的低效交流？您是否希望学习更加抽象且高效的表达方式，或者渴望与计算机建立更加连续的沟通？本门课程将从自然语言中单词的最基本表示——词向量开始讲起，详细讲解当前 $ NLP$ ( $Natural Language Processing$ , 自然语言处理) 的主流模型 $Transformer$ ，并教授如何使用目前最热门的 $NLP$ 模型托管平台 $Hugging Face$ 🤗。

如果您觉得自己的语言表达过于离散，希望学习具有连续性的表达方式；或者认为自己的表达过于直白，缺乏高层次的抽象；或者希望在本地部署类 $ChatGPT$ 语言模型，那么请将本课程压入您的运行栈。本课程虽无益于提升您作为人的表达能力，即教会您个人使用词向量表达并对高层次抽象语义特征进行提取，但可以使您的模型具有更加完备的自然语言理解与自然语言生成能力，从而在语言类任务中实现对您的代替。在本课程中，您（或者您的模型，如果比您更智能的话）可以：学习变形金刚的基本原理、结构，亲手组装并运行您的第一个变形金刚（模块无需自备）。了解大规模预训练语言模型的预训练、微调方法。熟练掌握抱抱脸的使用场景与技巧。对预训练语言模型进行微调，完成简单的文本任务。在学习完计算机视觉课程后，尝试使用多模态模型完成文本 & 图像任务。

1. 如何表示一个词的含义？

用一个 $id$ 表示一个词？

离散的 $id$ 型词语如何输入到神经网络之中？
神经网络的输入对象通常是 $feature$ -> 我们需要得到词的 $feature$ xw xw

🤗Word Embedding 词嵌入

将一个词映射为一个 $𝑒𝑚𝑏𝑒𝑑𝑑𝑖𝑛𝑔 \; dim$ 维的向量
每一维具有一定的含义（具体含义可能很抽象）

🤗如何获取 Word Embedding ？

手工构造？

神经网络

Mon, 01 Jan 0001 00:00:00 +0000

什么是神经网络

神经网络的简单定义

神经网络是由包含或不包含参数的简单处理单元相互连接构成的大规模结构。它能够将数据经过由连接和参数决定的流程进行计算，将输入映射到输出。

神经网络能够处理的问题

神经网络方法在人工智能领域的定位

graph LR
A(人工智能) --> B(机器学习)
B --> C(神经网络)

神经网络常用来处理什么样的问题

从数据中获取并保存信息（数据驱动任务）
拥有结构化的、相对大量的结构化输入-输出对数据
有明确、可计算的性能评估指标
常见的有分类、预测、生成任务

神经网络的优点

可以形成拥有大规模参数的结构：信息提取和保存能力强，泛化性能好
可扩展性：结构化的输入和输出，便于扩展和复用
非线性：从输入特征空间到输出特征空间的映射是非线性的

学习任务的组成

学习任务

学习任务是由模型 $M$ 、经验 $E$ 、任务 $T$ 、性能量度 $P$ 组成的。模型的学习是指 模型 $M$ 通过得到经验 $E$ ，在性能量度 $P$ 意义下相对得到经验 $E$ 并运行学习算法前在任务 $T$ 上有所改进。

对于神经网络而言，模型 $M$ 即为神经网络本身，经验 $E$ 为数据，性能量度 $P$ 为损失函数，而任务 $T$ 即为希望使用神经网络解决的机器学习问题。

例如：神经网络模型的学习任务是指该神经网络在图像分类任务上进行学习，在获得标注后的图片分类数据并进行训练后，在分类准确率标准下相较于训练前有所提升。

在神经网络学习任务中，我们称使用数据作为经验 $E$ ，对神经网络使用学习算法进行优化的过程为训练。

数据与经验

对任务 $T$ 进行数学建模：

现代概率机器学习初步

Mon, 01 Jan 0001 00:00:00 +0000

现代概率机器学习初步

1 引言

当下，生成式人工智能 (AGI) 广受关注，在文本、图像、视频生成等领域均有不足表现。其中，在图像生成、视频生成等任务中，目前效果最佳的技术路线为扩散模型 (Diffusion Model,DM)，例如 OpenAI 的 Sora 模型。尽管人工智能一向被大多数人视作不可解释的“黑箱”，但具体到扩散模型，却有着极其清晰、深刻的数学本质：可以说在数学视角下，其本质上就是一个统计模型。本文尝试基于概率统计理论，以严格的数学语言，对扩散模型原理进行详细的推导与总结。值得注意的是，当前扩散模型的理论研究，更多已从初等概率论视角演变到随机分析视角，通过运用 ODE、SDE 等工具，将模型本质抽象到更加高等的数学中。但由于本课程的核心内容不涉及随机分析，故本文仅从初等概率论与统计视角出发，以扩散模型的“开山之作”——Jonathan Ho 等于 2020 年发表的 去噪扩散概率模型 (Denoising Diffusion Probabilistic Models,DDPM)及其延伸话题为讨论对象。

值得注意的是，由于论文没有以数学的思路来提出、整理命题，并且较多结论没有给出证明（这是因为论文作者认为证明较为简单，不便占用过多篇幅），因此本文不会简单地重复该论文的思路与结构，而是尝试整理其前因后果，对其中出现的结论加以数学化的整理与表达。

本文将先介绍机器学习中，生成式模型的普遍性概念，再具体探讨扩散模型的数学内涵。

符号含义与其他说明

对随机向量 $(X_1, X_2, ..., X_n)^T$ ，为简洁起见，将之记作 $X$ 。
对随机向量 $X = [x_1, x_2, ..., x_n]^T$ ， $dX := dx_1 dx_2 ... dx_n$ 。
$p(X)$ 与 $q(X)$ 表示随机变量（向量） $X$ 的 PDF。
$p_{data}(X)$ 表示数据实际服从的分布； $p_{model}(X)$ 表示建模得到的分布。
如无特殊说明，本文的所有随机变量（向量）的分布均为连续分布，且其 PDF 均连续。

2 生成式模型的基本概念

机器学习的两种建模方式分别为判别式建模 (discriminative modeling) 和生成式建模 (generative modeling)，扩散模型即属于后者。因此，我们先来探讨生成式模型的基本概念。