Posts

李宏毅-机器学习2021春-6

李宏毅-机器学习2021春-6 1 GNN 2 Deeep Reinforcement Learning (RL) 当人类也不知道什么是好的输出结果时，可以用RL。 2.1 RL与机器学习的关系 Step 1 Function with unknown parameters 用sample产生随机输出 Step 2 Define “Loss” Step 3 Optimization 2.2 Policy Gradient 加入$A_n$，代表期望执行的程度。 $\gamma$：learning rate Policy Gradient的步骤： On-policy & Off-policy On-policy：用于训练的actor和用于交互的actor相同。 Off-policy：用于训练的actor和用于交互的actor不同。如Proximal Policy Optimization (PPO)。 2.3 Actor-Critic Montre-Carlo (MC) based approach Temporal-difference (TD) approach Veresion 3.5 Version 4 —— Advantage Actor-Critic

October 27, 2021 Read

李宏毅-机器学习2021春-2

李宏毅-机器学习2021春-2 1 机器学习任务攻略 Model bias：模型过于简单，有局限性 Optimization Issue：模型足够复杂了，但Optimization做的不够好。 Overfitting：在训练集上效果好，在测试集上效果差。解决方法如下：增加训练数据，Data augmentation（图片左右翻转）限制模型，减少模型的flexibility：减少参数，共享参数（CNN）减少features Early stopping Regularization Dropout 模型的复杂性需要在Overfitting和Model bias间进行trade-off mismatch：训练集和测试集的数据分别不同 N-fold Cross Validation：将Training Set进行不同的分组，分别对模型进行训练和验证，得到的mse取平均值。 2 类神经网络训练不起来怎么办 2.1 Local Minima与Saddle Point Critical point包括Local Minima与Saddle Point。当有很多参数时，Local Minima几乎不存在。 2.2 Batch与Momentum Batch Shuffle：在一个epoch结束后重新分batch。大Batch v.s. 小Batch 当考虑并行运算（gpu）后，大Batch的运行速度更快。小Batch的noise更大，但这反而有助于训练。

October 17, 2021 Read

李宏毅-机器学习2021春-3

李宏毅-机器学习2021春-3 1 Classification 将Class用one-hot vector表示回归与分类的区别： softmax： Loss的计算： 2 Convolutional Neural Network (CNN) 为Image Classification设计的网络。默认Image大小为100*100。 Receptive field（感受野）：图像的一个局部特征共享参数：w1，w2是相同的 receptive field + sharing parameteres = convolutional layer Convolutional layer：由一堆Filter组成，Filter捕捉图片里的pattern。 Feature Map：图片经过Convolution layer得到的结果 Pooling—Max Pooling 没有参数需要学习 Spatial Transformer Layer：解决CNN无法面对放大和旋转的问题 3 Self-attention 3.1 背景当输入是多组向量时，输出的情况：每一个向量都有一个label（sequence labeling），此处可以用self-attention 整个sequence有一个label 模型自己决定输出长度（seq to seq） 3.2 原理 Self-attention的输出$b^1$，既代表$a^1$，又代表$a^1$和$a^2$、$a^3$的关系。

October 17, 2021 Read

李宏毅-机器学习2021春-4

李宏毅-机器学习2021春-4 1 Transformer Sequence-to-sequence（Seq2seq）输出的长度由模型决定 Encoder+Decoder 1.1 Encoder encoder内部由许多block组成：每个block的构成如下： 1.2 Decoder-Autoregressive(AT) 与Encoder的对比图：（Multi-Head Attention前加了一个Masked） Masked Self-attention 产生$b^1$的时候只能考虑$b^1$的资讯。产生$b^2$的时候只能考虑$b^1$、$b^2$的资讯。产生$b^3$的时候只能考虑$b^1$、$b^2$、$b^3$的资讯。 1.3 Encoder-Decoder Cross attention: Teacher Forcing: 用ground truth（答案）作为Decoder的输入 1.4 Training Tips Copy Mechanism Guided Attention Beam Search：不基于贪心的一种搜索算法 2 BERT Self-supervised Learning 系统通过输入数据的一部分进行predict，另一部分输入用于进行比对。 Masking Input Next Sentence Prediction 对于BERT不是很有用 BERT经过Fine-tune，可用于下游任务。 BERT整体是Semi-supervised的。填空题（Pre-train）阶段是Self-supervised，Finetune阶段是supervised。 2.1 Bert Case 用于语义分析。输出类别。BERT是用填空题预训练的。用于词性标注。输出和输出长度相同。用于自然语言推测。输入两个句子，输出一个类别。基于提取的问答系统输入一个问题和一篇文档，输出答案的起始位置和结束位置。 2.

October 17, 2021 Read

李宏毅-机器学习2021春-5

李宏毅-机器学习2021春-5 1 Word Embedding 将每一个Word都投影到一个High Dimension的空间上。相似的词距离近。不同的Dimension代表不同的含义。 Word Embedding是一个unsupervised的过程。机器通过阅读大量文章，根据上下文信息进行学习。 Counting based Prediction based：拿出Prediction Model的第一个hiden layer，即可得到word embedding. 2 Recurrent Neural Network 有记忆的NN。 Long Shor-term Memory(LSTM)

October 17, 2021 Read

李宏毅-机器学习2021春-1

李宏毅-机器学习2021春-1 1 机器学习基本概念 1.1 机器学习基本任务机器学习的基本任务：寻找一个函数不同种类的函数： Regression（回归）：函数输出一个标量如：预测PM2.5 Clssificatiion（分类）：给定选项，函数输出选项如：Alpha Go下棋 Structured Learning：创造一些结构（图片，文件） 1.2 通过训练数据定义Loss Loss 也是一个函数，它的输入是Model中的parameters： $$ L(b,w) $$ Loss function：$L=\frac{1}{N}\sum_ne_n$ Mean Absolute Error(MAE)：$e=|y-\hat{y}|$ Mean Square Error(MSE)：$e=(y-\hat{y})^2$ 1.3 Optimization 目标：得到最优的参数。 $$ w^{*}, b^{*}=\arg \min _{w, b} L $$ 方式：Gradient Descent 一个参数w的情况随机选取初始值$w^0$ 计算$\left.\frac{\partial L}{\partial \mathcal{\imath}}\right|_{w=w^{0}}$ learning rate：$\eta$，表示梯度下降的速率不断更新w：$w^{1} \leftarrow w^{0}-\left.\eta \frac{\partial L}{\partial w}\right|_{w=w^{0}}$ 两个参数的情况： 2 深度学习基本概念 2.

October 15, 2021 Read

红黑树

红黑树性质是一种特殊的**二叉查找树**（任意节点的左子树上的节点小于该节点，右子树上的节点大于该节点）每个节点都是红色或黑色每个叶子节点的子节点（NULL节点）为黑色红色节点的子节点都是黑色从一个结点到其所有的后代叶子结点的路径上包含的黑色结点数量相同。性质5确保没有一条路径会比其他路径长出俩倍。因而，红黑树是相对是接近平衡的二叉树。应用主要是用它来存储有序的数据，它的时间复杂度是O(lgn)，效率非常之高。例如： Java集合中的TreeSet和TreeMap C++ STL中的set、map Linux虚拟内存的管理基本操作左旋&右旋添加将红黑树当作一颗二叉查找树，将节点插入，着色为红色。由于可能违背了性质4，故需要调整。分三种情况：叔叔是红色叔叔是黑色，且当前节点是右孩子叔叔是黑色，且当前节点是左孩子删除

September 22, 2021 Read

知识梳理 2

知识梳理 2 4 CPU调度基本概念 CPU调度：在主存中选择运行实体（ready queue中的进程/线程），并将CPU分配给它。在内核状态下选择、分配、激活。进程执行周期：CPU burst + I/O burst CPU burst：进程在 running state I/O burst：进程在 waiting state 进程调度需要以下两个部件：短期调度程序（short-term scheduler）分派程序（dispatcher）：将CPU分配给短期调度程序选择的进程，功能包括进程上下文切换转到user mode 跳到用户程序的合适位置重新开始执行上图中的t0-t3为派遣时延（dispatch latency）调度什么时候出现：（1,2为非抢占式，3,4为抢占式）进程终止运行的进程转为waiting状态（e.g., 进程主动I/O requests，或调用wait等待子进程终止）运行的进程转为ready状态（e.g.，中断出现，或时间戳结束） waiting->ready（e.g.，I/O完成）调度准则调度算法

September 3, 2021 Read

Part 1

Part 1 1 Linux终端与主机 Ctrl-A的ASCII码是1，Ctrl-B的ASCII码是2，Ctrl-C的ASCII码是3，。。。，Ctrl-Z的ASCII码是26 Esc的ASCII码是27 行律功能调整：stty 查看：stty -a stty erase ^H 流控方式：硬件方式：RS232接口的CTS信号（Clear To Send）（不好）软件方式：利用流控字符Xon（Ctrl-S, 17）和Xoff（Ctrl-Q，19） 2 系统状态查看 2.1 用户登录 Linux用户分为： root用户（超级用户）普通用户创建新用户：由root用户创建（useradd命令），用户信息存放在/etc/passwd文件中，包括用户名和用户ID，以及Home目录，登录shell 登录shell：一般为bash，也可以选其它shell，甚至自己设计的程序。登录后的shell提示符： $：Bourne Shell系列（sh，ksh，bash） #：当前用户为超级用户root 2.2 查看手册、时间、计算器、口令维护 Linux命令大小写敏感。几种常用的系统命令： man：查看系统常用手册 date：读取系统日期和时间 cal：日历 cal 10 2019 cal 2019 bc：计算器

September 2, 2021 Read

Part 2

Part 2 1 正则表达式 1.1 基础正则表达式与文件匹配符规则不同。六个元字符：. * $ ^ [ \ . 代表任意字符 x* 代表任意多个x（0-n个） 123$ 代表匹配文件行尾的123 ^123 代表匹配每行起始的123 []用于定义区间 \1 \2代表前面的第一部分和第二部分定义集和 ERE、PCRE：扩展的正则表达式 1.2 跟正则表达式相关的命令 grep/egrep/fgrep 语法：grep 模式文件名列表 egrep：用扩展正则表达式搜索 fgrep：快速搜索字符串，不用正则表达式规则 sed：流编辑 awk：逐行扫描进行文本处理的一门语言

September 2, 2021 Read

SDN 1

SDN 1 1 SDN概述 1.1 SDN之前的网络架构 1.2 SDN定义网络控制和转发功能解耦合，使得网络控制功能可直接编程。 Openflow协议是SDN方案的基础。 SDN的开放分层架构加速了网络产业的参与度，越来越多的网络用户、网络软件公司参与到参与中。 1.3 SDN的分层体系结构

September 2, 2021 Read

知识梳理 1

知识梳理 1 1 Introduction 计算机启动过程 BIOS -> MBR -> boot loader -> kernel -> init process 当我们打开计算机电源，计算机会自动从主板的BIOS(Basic Input/Output System)读取其中所存储的程序。这一程序通常知道一些直接连接在主板上的硬件(硬盘，网络接口，键盘，串口，并口)。现在大部分的BIOS允许你从软盘、光盘或者硬盘中选择一个来启动计算机。下一步，计算机将从你所选择的存储设备中读取起始的512 bytes。这512 bytes叫做主引导记录MBR (master boot record)。MBR会告诉电脑从该设备的某一个分区(partition)来装载引导加载程序(boot loader)。Boot loader储存有操作系统(OS)的相关信息，比如操作系统名称，操作系统内核 (kernel)所在位置等。随后，boot loader将kernel加载到内存中。kernel实际上是一个用来操作计算机的程序，它是计算机操作系统的内核，主要的任务是管理计算机的硬件资源，充当软件和硬件的接口。操作系统上的任何操作都要通过kernel传达给硬件。Windows和Linux各自有自己kernel。狭义的操作系统就是指kernel，广义的操作系统包括kernel以及kernel之上的各种应用。 kernel开始加载第一个进程，例如"init"，并等待事件的出现。事件中断（interrupt/trap）：由硬件或外设触发，通过系统总线发一个信号给CPU，一般为异步方式。中断会有一个中断ID。程序会保存中断发生前一时刻的执行现场（保存一些寄存器中的值），然后去转到中断的服务例程执行中断。中断完毕后，OS再恢复之前保存的处理状态，故中断是对应用程序透明的。如：read系统调用后，系统发出读磁盘的操作，当磁盘数据准备好后，向OS发出一个异步通知消息。异常（exception）：由应用程序触发，一般为同步方式。异常也有异常编号ID，也会保存现场。如：除0异常，无效地址访问系统调用（system call）：由应用程序触发，应用程序向OS请求某个服务，异步或同步。大多由应用程序通过API调用，而非直接由系统调用存储结构 I/O 结构每个设备控制器控制一种设备，负责控制数据在它自己的本地缓存和外部设备中的移动。 OS 为每个设备控制器分配了一个设备驱动器。 DMA（Direct Memory Access）——用于大块数据的移动

September 2, 2021 Read