下载 | 李宏毅：1 天搞懂深度学习，我总结了 300 页 PPT-程序员宅基地
《1 天搞懂深度学习》，300 多页的 ppt，台湾李宏毅教授写的，非常棒。不夸张地说，是我看过最系统，也最通俗易懂的，关于深度学习的文章。
这份 300 页的 PPT，被搬运到了 SlideShare 上，下面是 SlideShare 的链接：
https://www.slideshare.net/tw_dsconf/ss-62245351?qid=108adce3-2c3d-4758-a830-95d0a57e46bc&v=&b=&from_search=3
废话少说，先上干货，整个 PPT 的思维导图如下：
如果你想获得完整PDF可以通过以下方式获得
获得方式：
1. 关注【深度学习算法与计算机视觉】公众号
2. 在【深度学习算法与计算机视觉】公众号后台回复 【LHY】 即可。
????长按上方二维码 2 秒
回复「LHY」即可获取资料
一、深度学习概论
1. 介绍深度学习
作者非常浅显的指出机器（深度）学习过程非常简单，分为定义方法、判断方法的优劣、挑选出最佳的方法。
对于深度学习，首先第一步定义方法 - 神经网络。深度学习顾名思义是指多层的神经网络。
神经网络的思想来源于对于人脑的生理上的研究，人脑由数亿个神经元组成，神经元通过轴突互相连接通信。神经网络和人脑类似，存在多个层级（layer），每个层级都有多个节点（神经元），层级和层级之间相互连接（轴突），最终输出结果。
对于神经网络的计算能力可以理解为通过一层层Layer的计算归纳，逐步的将抽象的原始数据变的具体。以图片识别为例，输入是一个个像素点，经过每层神经网络，逐步变化成为线、面、对象的概念，然后机器有能力能够识别出来。
第二步，评估方法的优劣。
Loss function是用于评估方法优劣，通常我们用学习出来的参数对测试数据进行计算，得出对应的预测（y）然后和真实的测试数据的目标值（t）进行比对，y和t之间的差距往往就是Loss。那么评估一个算法的好坏，就是要尽可能的降低Loss。
第三步，如何获得最佳的学习方法。
获得最佳的学习是采用梯度下降算法，作者也提到梯度下降算法存在局部最优解的问题。人们往往认为机器无所不能，实际上更像是在一个地图上面拓荒，对周边一无所知。神经网络计算梯度的算法是反向传播算法，简称BP。
2. 为什么要足够“深”？
作者首先指出越多的参数往往带来越好的预测能力，所以神经网络往往参数越多越好。那么如果是同样的参数情况下，为什么层级较多的表现会更好呢？
作者认为深度网络可以带来模块化的好处，随着网络的层级，神经网络会将像素元素逐渐归纳出一些基本的特征，进而变成纹理，进而变成对象。
二、训练方法
作者总结下来训练过程中会发现了两种情况：
没有办法得到很好的训练结果 —> 重新选择训练方式
没有办法得到很好的测试结果 —> 往往由于过度拟合导致，需要重新定义方法
优化训练方法的手段：
选择合适的Loss function：使用Cross Entropy效果要优于Mean Square Error
Mini-batch: 每次训练使用少量数据而不是全量数据效率更高
Activation Function：使用ReLU替代Sigmoid可以解决梯度消失的问题，可以训练更深的神经网络
Adaptive Learning Rate：可以随着迭代不断自我调整，提高学习效率
Momentum: 可以一定程度上避免陷入局部最低点的问题
避免过度拟合（overfitting）的方法：
Early Stopping：使用cross validation的方式，不断对validation data进行检验，一旦发现预测精度下降则停止。
Weight Decay：参数正则化的一种方式？
Dropout：通过随机去掉一些节点的连接达到改变网络形式，所以会产生出多种网络形态，然后汇集得到一个最佳结果
Network Structure: 例如CNN等其他形态的网络
如果你想获得完整PDF可以通过以下方式获得
获得方式：
1. 关注【Python遇见机器学习】公众号
2. 在【Python遇见机器学习】公众号后台回复 【LHY】 即可。
????长按上方二维码 2 秒
回复「LHY」即可获取资料
三、神经网络变体
1. 卷积神经网络（CNN）
通常情况下，一个CNN包含多次的卷积、池化，然后Flatten，最终再通过一个深度神经网络进行学习预测。CNN在图像、语音识别取得非常好的成绩，核心的想法在于一些物体的特征往往可以提取出来，并且可能出现在图片的任何位置，而且通过卷积、池化可以大大减少输入数据，加快训练效率。
2. 循环神经网络（RNN）
RNN的想法是可以将hidden layer的数据存储下来，然后作为输入给下一个网络学习。这种网络的想法可以解决自然语言中前后词语是存在关联性的，所以RNN可以把这些关联性放到网络中进行学习。
四、其它前沿技术
Ultra Deep Network：
2015年出现了152层的Residual Net实现了图片3.57%错误率。
Reinforcement Learning:
通过奖励机制强化学习，并且做出相应的动作。
Unsupervised Learning：
1. Deep Style
2. 生成图片
3. 无需人工介入理解文字的含义
如果你想获得完整PDF可以通过以下方式获得
获得方式：
1. 关注【程序员大白】公众号
2. 在【程序员大白】公众号后台回复 【LHY】 即可。
????长按上方二维码 2 秒
回复「LHY」即可获取资料
智能推荐
Springboot/java/node/python/php基于springboot+vue手机售后管理系统【2024年毕设】-程序员宅基地
文章浏览阅读779次，点赞19次，收藏24次。springboot微信小程序的小疾病问诊服务系统的设计与实现。springboot基于spring的物业管理系统的设计与实现。springboot基于Java的高校学生请假系统。ssm基于Android的购物商场APP设计与实现。springboot基于微信小程序的智慧校园系统。ssm基于Android的英语词典的设计与开发。ssm基于SSM+Vue的学生实践管理平台开发。ssm基于android的企业员工考勤系统。ssm基于web的暗香小店系统的设计与实现。ssm基于Web的高等学校公费医疗管理系统。
css中hover属性的使用技巧_css hover的用法-程序员宅基地
文章浏览阅读2.3w次，点赞15次，收藏63次。hover属性用不同的书写方式，来改变不同关系的元素样式。元素:hover 表示聚焦后改变自己元素:hover 元素 表示聚焦后改变其子元素元素:hover + 元素 表示聚焦后改变其指定的“亲兄弟”（条件是该兄弟元素与其相邻）元素元素:hover ~ 元素 表示聚焦后改变其指定的兄弟元素，两个元素相不相邻都行。示例：.first:hover {color: white;}/* 聚焦我改变自己 */.three:hover .three-son {font-size: 20px._css hover的用法
coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习_pca反向压缩-程序员宅基地
文章浏览阅读6k次，点赞3次，收藏15次。coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习coursera-斯坦福-机器学习-吴恩达-第8周笔记-无监督学习1聚类算法clutering1聚类算法简介2K-means21kmeans的目标函数22随机初始化23选择类别数3考试quiz维数约减 dimensionality reduction1数据压缩2数据可视化3维度约简-主成分分析法PCA1 PCA_pca反向压缩
vim插件安装及常用技巧_bxbx.vim-程序员宅基地
文章浏览阅读5.2k次。一、插件安装Vundle是vim的一个插件管理器， 同时它本身也是vim的一个插件。插件管理器用于方便、快速的安装、删除、Vim更新插件。mkdir -p ~/.vim/bundlegit clone https://github.com/gmarik/Vundle.vim.git ~/.vim/bundle/Vundle.vim管理器安装完成后，vim ~/.vimrc命令创建.vimrc文件syntax on" tab宽度和缩进同样设置为4set tabstop=4set softta_bxbx.vim
java.lang.ClassNotFoundException：如何解决-程序员宅基地
文章浏览阅读7.2w次，点赞10次，收藏41次。本文适用于当前面临java.lang.ClassNotFoundException挑战的Java初学者。 它将为您提供此常见Java异常的概述，这是一个示例Java程序，可支持您的学习过程和解决策略。 如果您对与更高级的类加载器相关的问题感兴趣，我建议您复习有关java.lang.NoClassDefFoundError的文章系列，因为这些Java异常密切相关。 java.lang..._java.lang.classnotfoundexception:
串口通信数据帧_一帧数据-程序员宅基地
文章浏览阅读1.2k次，点赞9次，收藏17次。不同的设备间建立连接往往需要通信，而串口通信是十分常用的一种。UART串口通信需要两根线来实现，一根用于串口发送，另外一更用于串口接收。UART串口发送或者接收过程中一帧数据包括1位起始位、8位数据位、1位停止位，为了提高数据的可靠性可以在停止位前加上1位奇偶校验位。串口通信虽然十分简单，但是在不同设备间发送的数据往往不止1个字节，往往需要多个字节组成的数据包。当我们按照数据包发送时我们需要考虑到以及，因此我们可以采用定义数据帧的方式解决上述两个问题。_一帧数据
随便推点
Ubuntu18.04安装教程（很详细）_ubuntu18安装-程序员宅基地
文章浏览阅读6.6w次，点赞128次，收藏962次。Ubuntu18.0详尽版安装教程下载Ubuntu18.04下载VMware Workstation安装虚拟机下载Ubuntu18.04官方网站：http://old-releases.ubuntu.com/releases/18.04.4/?_ga=2.44113060.1243545826.1617173008-2055924693.1608557140下载VMware Workstation这个在网上有很多教程下载，这里我就不写了，我用的版本是14 pro。如下图：安装虚拟机1、打开_ubuntu18安装
Android四大组件之Activity--管理方式_android activityrecord中的activitytype-程序员宅基地
文章浏览阅读1.7k次。1. 概览Activity的管理有静态和动态两层涵义： 静态是指Activity的代码组织结构，即Application中声明的Activity的集合，这些Activity被组织在一个APK中，有特定的包名。 在编写应用程序时，Activity对应到用户界面，它定义了用户界面的布局、交互行为、启动方式等，最重要的，是Activity的生命周期函数。 在应用进程看来，只需要按照Android定义的规范，实现生命周期函数的具体逻辑即可，所有的用户界面都遵循同一个规范。 编写完一个应用程序的所有用户界面_android activityrecord中的activitytype
[LINUX]sed查找不包含某个字符串的行，并进行替换_sed不包含字符串-程序员宅基地
文章浏览阅读5.5k次，点赞3次，收藏7次。sed 查找不包含某个特性 sed -i "/src/!s/xxx/bbb/g" xxx将不包含src的行中的xxx替换为bbb_sed不包含字符串
问题解决：shared_ptr Assertion px != 0 failed 及debug经验分享_typename boost::detail::sp_dereference<t>::type bo-程序员宅基地
文章浏览阅读6.8k次，点赞11次，收藏18次。问题解决：shared_ptr Assertion px != 0 failed及debug经验分享问题详细描述：/usr/include/boost/smart_ptr/shared_ptr.hpp:646: typename boost::detail::sp_dereference::type boost::shared_ptr::operator*() const [with T = pcl::PointCloudpcl::pointxyz; typename boost::detail::sp_typename boost::detail::sp_dereference::type boost::shared_ptr::operat
看不见的“网” ,一文读懂阿里云基础设施网络_阿里云网络基线理解-程序员宅基地
文章浏览阅读553次。编者按：在这个万物智联的时代，无论是在线网络购物，还是网络强国、数字中国建设，都离不开一张“看不见的网”——基础设施网络。2009年，首届双11每秒交易订单创建峰值400；2021年，双11每秒交易订单创建峰值58.3万，12年交易数字量猛增的背后，是阿里云在庞大分布式系统上计算和IO能力的飞跃，更离不开阿里云基础设施底层网络技术的支撑。图｜阿里云全球基础设施网络系统作为阿里云基础设施的重要组成部分，阿里云基础设施网络团队负责整个阿里云全球基础设施网络，包括大规模高性能数据中心网络，全球数据中心互联_阿里云网络基线理解
TCP/UDP常见端口参考_怎么查看端口映射的是tcp还是udp-程序员宅基地
文章浏览阅读1.7k次。端口列表一览端口号码 / 层 名称 注释 1 tcpmux TCP 端口服务多路复用 5 rje 远程作业入口 7 echo Echo 服务 9 discard 用于连接测试的空服务 11 systat 用于列举连接了的端口的系统状态 13 daytime 给请求主机发送日期和时间 17 qotd 给连接了的主机发送每日格言 18 msp 消息发送协议 19 _怎么查看端口映射的是tcp还是udp