神经网络训练中Epoch、batch_size、iterator的关系_epoch和batchsize的关系_漠北尘-Gavin的博客-程序员宅基地
技术标签： iterator batch_size 计算机视觉 deeplearning pytorch 人工智能 epoch Deep Learning
为了理解这些术语的不同，需要先了解些机器学习术语，如：梯度下降
梯度下降
这是一个在机器学习中用于寻找最佳结果（曲线的最小值）的迭代优化算法。
梯度的含义是斜率或者斜坡的倾斜度。
下降的含义是代价函数的下降。
算法是迭代的，意思是需要多次使用算法获取结果，以得到最优化结果。梯度下降的迭代性质能使欠拟合的图示演化以获得对数据的最佳拟合。
梯度下降中有一个称为学习率的参量。如上图左所示，刚开始学习率更大，因此下降步长更大。随着点下降，学习率变得越来越小，从而下降步长也变小。同时，代价函数也在减小，或者说代价在减小，有时候也称为损失函数或者损失，两者都是一样的。（损失/代价的减小是一件好事）
只有在数据很庞大的时候（在机器学习中，几乎任何时候都是），我们才需要使用 epochs，batch_size，迭代这些术语，在这种情况下，一次性将数据输入计算机是不可能的。因此，为了解决这个问题，我们需要把数据分成小块，一块一块的传递给计算机，在每一步的末端更新神经网络的权重，拟合给定的数据。
EPOCHS
当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一个 epoch。
然而，当一个 epoch 对于计算机而言太庞大的时候，就需要把它分成多个小块。
为什么要使用多于一个 epoch？
我知道这刚开始听起来会很奇怪，在神经网络中传递完整的数据集一次是不够的，而且我们需要将完整的数据集在同样的神经网络中传递多次。但是请记住，我们使用的是有限的数据集，并且我们使用一个迭代过程即梯度下降，优化学习过程和图示。因此仅仅更新权重一次或者说使用一个 epoch 是不够的。
随着 epoch 数量增加，神经网络中的权重的更新次数也增加，曲线从欠拟合变得过拟合。
那么，几个 epoch 才是合适的呢？
不幸的是，这个问题并没有正确的答案。对于不同的数据集，答案是不一样的。但是数据的多样性会影响合适的 epoch 的数量。比如，只有黑色的猫的数据集，以及有各种颜色的猫的数据集。
BATCH_SIZE
一个 batch 中的样本总数。记住：batch_size 和 number of batches 是不同的。
BATCH 是什么？
在不能将数据一次性通过神经网络的时候，就需要将数据集分成几个 batch_size,每一个batch_size都相当于一个新的小数据集，即batch_size为新的小数据集的大小。
正如将这篇文章分成几个部分，如介绍、梯度下降、Epoch、Batch_size 和迭代，从而使文章更容易阅读和理解。
iterator
理解迭代，只需要知道乘法表或者一个计算器就可以了。迭代是 batch 需要完成一个 epoch 的次数。记住：在一个 epoch 中，需要batch_size的个数和迭代次数是相等的。
例如对于一个有 60000 个训练样本的数据集。将 60000 个样本分成大小为 600 的 batch_size，那么完成一个 epoch 需要 100 个 iteration，则batch_size的个数也为100，即 60000=100xbatch_size。
Reference:
http://www.sohu.com/a/194716206_505819
智能推荐
java导出excel无法打开_半清斋的博客-程序员宅基地
如果你在使用 Java 导出 Excel 文件但是打开后出现了无法打开的问题，可能是出现了以下几种情况：文件损坏：Excel 文件在生成和传输过程中可能已损坏，导致无法打开。版本问题：生成的 Excel 文件的版本可能与你使用的 Microsoft Excel 版本不兼容。编码问题：Excel 文件的内容可能是以错误的编码格式生成的，导致无法正确读取文件内容。程序 bug：导出 E..._java导出xlsx文件损坏
基数排序的PHP实现_php 基数排序-程序员宅基地
基数排序PHP实现_php 基数排序
【arm问题一】nfs始终报错Remote system error - No route to host-程序员宅基地
查看nfs的运行状态[root@localhost helloworld]# service nfs statusrpc.svcgssd is stoppedrpc.mountd (pid 2612) is running...nfsd (pid 2628 2627 2626 2625 2624 2623 2622 2621) is running...rpc.rquotad (pid 2_remote system error
Java 导出Excel表格生成下拉框-EasyExcel_easyexcel设置下拉框-程序员宅基地
*** 标注导出的列为下拉框类型，并为下拉框设置内容*//*** 固定下拉内容*//*** 动态下拉内容*/Class_easyexcel设置下拉框
实现无头节点的单链表_编写程序,建立有十二个结点的无头结点的单链表-程序员宅基地
class Node{public int data;public Node next;public Node(int data){this.data=data;}}public class MyLinkedList{public Node head;public void addFirst(int data){Node node=new node(data);//判断是否是空链表if(this.head==null){this.head=node;}else{node._编写程序,建立有十二个结点的无头结点的单链表
替换war包中的文件-程序员宅基地
原文：https://blog.csdn.net/wuawua1/article/details/539067001.如果要替换的文件直接在war包的根目录(一级目录)下，直接使用jar uvf命令替换即可如：替换a.war中b.xml文件jar uvf a.war b.xml注：b.xml需要和a.war在同一个目录下。标题2...
随便推点
Linux环境下Verilog电路的前后仿真及版图规划_verilog 后仿 linux-程序员宅基地
本文主要描述了Linux环境下使用Verilog编写电路、对电路进行前后仿真并进行版图规划的过程。_verilog 后仿 linux
ENVI裁剪-程序员宅基地
一、basic tools-->resize data进行规则裁剪虽然是进行图像重采样工具，但也可以用于简单快速的裁剪1、 选中要裁剪的图像； 对话框下面选择spatial subset(构建空间子集＿就是裁剪图像)(另spectralsubset-构建波谱子集)2、提供多种裁剪方式：（1）直接输行列裁剪，这样裁剪的前提是你要预告查看需要图像所占的行列是多少。..._envi的裁剪工具
python 进程 线程 携程_从python角度，理解进程，线程，协程.md-程序员宅基地
写在前面文中有较多的内容为转载，尽量指出转载来源。1 进程(process)定义：进程是正在运行程序的实例。如chrome 进程的三种状态：就绪态执行态阻塞态进程是基于计算机系统的异常。进程切换是需要保存上下文环境(一些寄存器，以及栈的信息。 子进程和父进程具有相同的文件描述符。 不同的进程具有不同的地址空间，变量无法共享。调度有操作系统完成。process 由 process control b...
Java导出Excel导出,并压缩成zip包_vue java导出excel压缩包_一个龙的传说的博客-程序员宅基地
来自分享：Java之Excel导出工具类使用教程_大脑补丁的博客-程序员宅基地_java导出excel工具类将多个excel打成压缩包，并删除，对于excelpackage com.study;import java.io.File;import java.io.IOException;/** 1. 应用场景 2. delete删除只能删除空文件夹 和文件 3. 删除指定文件夹 */public class Test1 { public static void mai_vue java导出excel压缩包
Linux环境下编程（二）——线程的同步_同步打印字符,主线程以%d打印-程序员宅基地
上一节讲了基本的线程的创建、使用的方法，但是假如我们想要编写一个多线程程序还是有些问题需要处理。既然提到了线程可以共享部分资源，那么在多个线程同时修改一段相同的内存空间时，会不会出现问题？就比如说，公司有两个boss，他们都可以让我办事，在同一个时间段内，a Boss让我一起开个讨论会，b Boss让我去楼下给他带个外卖。。。 这时，我到底是该买外卖呢，还是开会呢？在同一时间内，我只能做一件事_同步打印字符,主线程以%d打印
习题2-4 求交错序列前N项和-程序员宅基地
本题要求编写程序，计算交错序列 1-2/3+3/5-4/7+5/9-6/11+... 的前N项之和。输入格式:输入在一行中给出一个正整数N。输出格式:在一行中输出部分和的值，结果保留三位小数。#include<stdio.h>#include<math.h>int main(void){ int n,flag; double i,sum; scanf("%d",&n); //sum=1; flag=1; for(i=1;i<_求交错序列前n项和