突然忘记特征值和特征向量是啥了，怎么求也忘记了，然后看了一下别人的博文，觉得写的太TM牛逼了，很有必要搬运一下。改了这个大佬后面的内容，因为我感觉他最后那部分写的让我不是很懂，应该是v向量在X特征向量方向上拉伸特征值倍，但是作者却用的是w向量在X特征向量方向上拉伸特征值倍。大佬后面的例子有点过于巧合了，w和v向量算出来的值都是（1，1）很容易造成误…
矩阵与特征值特征向量
Pytorch——从断点开始训练
1 参数定义 需要定义以下参数以从断点继续训练： # 训练的总轮次 parser.add_argument( "--epochs",type=int,metavar="N",help="number of total epochs to run" ) # 适用于训练中断，重新从某个检查点中断的位置开始训练，训练轮次为epochs - start-e…
学习率调度策略汇总
为什么需要学习率调度？ 在训练初期时，参数随机初始化时，需要较大的学习率快速接近最优解区域。在训练后期接近收敛时，需要小学习率精细调整参数，避免跳过最优解。 1 分步学习率调度 一种动态调整学习率的策略，它会在训练过程中按照预定的规则或时间点分段调整学习率。 比如每隔50个epoch，学习率乘以0.1。或者手动设置当到达[120, 160]的epo…
神经网络中归一化技术汇总
1 局部响应归一化(Local Response Normalization)[1] 1.1 概述 Local Response Normalization （LRN）是AlexNet中首次引入的归一化方法，但是在BatchNorm之后就很少使用这种方法了。 1.2 目的 对局部的值进行归一化操作，使其中比较大的值变得相对更大，增强了局部的对比度，…
图像增强技术汇总
1. 多种增强方式概述 下列尺度大小可以调整，用示例的数据进行说明： 尺度缩放：将图像的较短边随机缩放到 [256, 480] 像素范围内的一个值（长边按比例调整）。 随机裁剪：从缩放后的图像中随机裁剪224×224区域。 颜色抖动：80%的概率进行颜色抖动（如下面详细说明的PCA抖动） 转灰度图：20%概率将图像转换为灰度图。 图像模糊：50%的…
ImageNet Classification with Deep Convolutional Neural Networks(用深度卷积神经网络来进行ImageNet的分类)
论文原文：https://proceedings.neurips.cc/paper/2012/hash/c399862d3b9d6b76c8436e924a68c45b-Abstract.html 提出了AlexNet网络，训练了一个非常大很深的卷积神经网络去分类ImageNet，得到了ILSVRC-2012的冠军。使用了dropout进行了过拟合…
Deep Residual Learning for Image Recognition(图像识别的深度残差学习)
提出残差网络，2016年的CVPR最佳论文。 论文原文：https://openaccess.thecvf.com/content_cvpr_2016/html/He_Deep_Residual_Learning_CVPR_2016_paper.html 提出了残差学习框架来简化深度超过以往网络的训练过程。将网络层重构为基于输入的学习残差函数（而非…
Backpropagation Applied to Handwritten Zip Code Recognition(反向传播算法在手写邮政编码识别中的应用)
1989年古早的论文，为后续卷积神经网络的出现奠定了基础。 论文原文：https://ieeexplore.ieee.org/abstract/document/6795724 论文介绍 通过神经网络来识别手写数字，手写数字来源是手写邮政编码，输入大小为16*16尺寸的图，输出是10个分类概率。该论文通过设计网络架构，论证了如何将任务领域的约束条件…
Momentum Contrast for Unsupervised Visual Representation Learning(无监督视觉表征学习的动量对比方法——MoCo)
简单一句话概括这篇文章，它是对比学习的一个里程碑，CVPR2020年最佳论文提名，作者是发表了ResNet网络的大神（拜一拜大佬，把智慧传给我一点吧），IF: 20.60。感觉上一篇写的太赘述了，然后有些点觉得需要解释的也没有详细解释（其实自己也没太看懂偏后面的实验部分），这次好好改进一下，斜体是博主的解释哦。 论文原文：https://opena…
Dimensionality Reduction by Learning an Invariant Mapping(通过不变映射的学习实现降维)
今天来学习一下这篇古早的论文，可以算得上是对比学习的鼻祖了。 论文地址：https://ieeexplore.ieee.org/abstract/document/1640964 摘要 降维是将一组高维的输入点映射到低维流形上，让输入空间中相似的点映射到流形相近的点上。作者提出了通过不变映射的学习实现降维的方法，这个方法是为了让数据均匀的映射到输出…