技术标签: # Tensorflow window系统tensorflow2.0安装 安装 ubuntu系统tensorflow2.0安装 tensorflow2.0
昨天tensorflow 开发者大会刚开完,会上发布了关于 TensorFlow 2.0,TensorFlow Lite,TensorFlow.js,Swift for TensorFlow,TFX 等产品生态体系的最新更新和首次发布的内容,2019年仍会支持tensorflow1.x,但是我们相信,版本的升级会带来易用性和使用性能的提升,特别是tensorflow1.x 开发api的混乱,有slim、tf.layers, tf.contrib 后期版本有tf.keras ,还有读数据方式,都特别麻烦,所以本文章基于linux系统提供安装方法(Windows系统安装anaconda以后也可以使用该教程)。
插播:很荣幸本文于2020年11月5日被Tensorflow官方社区收录,欢迎去社区逛逛
这个直接官网去下载就可以了,可以是安装anaconda 或miniconda,我选择miniconda,这样不会把大量用不到的python包都安装了,而是根据需求,后期自己安装。
下载miniconda ,基本一路回车安装完成就可以,然后配置下载源来使⽤国内镜像加速下载:
(时代在变化,社会在发展,anaconda不再有国内的加速镜像,所以以下添加清华源的命令就不要执行了!!,用默认的官方源也是可以使用的,更改于2019年7月2日 )清华源又可以用了
#优先命名用清华conda 镜像
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/fastai/
conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/
conda config --append channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
# 搜索时显示通道地址
conda config --set show_channel_urls yes
用来安装tensorflow2.0以及相关的python packages.
#加上cudatoolkit and cudnn这样不论你的机器原来装的是否合适,都可以用tensorflow2.0gpu版本
conda create -n tf2 python=3.6
安装tensorflow2.0
#激活环境
source activate tf2
#对于GPU版的安装,为保证不论原始linux环境是什么样的都可以安装,如果原系充已经符合,以下命令不用执行
conda install cudatoolkit=10 cudnn=7.6 #目前tf2.0不支持cuda10.1(对应cudnn7.6),官网要求cuda=10,cudnn>7.4
#对于CPU版本,上边这行命令是不需要执行的
#接下来安装tensorflow 有多种情形
conda install tensorflow #安装tensorflow cpu稳定版本
conda install tensorflow-gpu#安装ensorflow gpu稳定版本
#使用这前可以使用 conda serach tensorflo 或conda search tensorflow-gpu来查询都有那些版本
#可以初装指定版本 conda install tensorflow=1.5 tensorflow 1.5版本
#如果安装错了可以使用conda uninstall tensorflow卸载后再重新安装
#接下来是要安装是新的tensorflow版本,conda环境使用pip同样生效
pip install tf-nightly #cpu 版本
pip install tf-nightly-gpu#GPU版本
#本人网上查了具体的版本
pip install tf-nightly-2.0-preview#Install tf 2.0 preview CPU version
pip install tf-nightly-gpu-2.0-preview#Install tf 2.0 preview GPU version
关于conda安装cuda和cudnn,当nvidia发布新的cuda和cudnn版本时,conda还无法安装较新版本,只有旧版本。此时的解决方法是:
conda search cudatoolkit -c conda-forge
conda search cudnn -c conda-forge
#选择conda-forge 来搜索,会获得较新版本的cuda和cudnn
对于cudnn同理。
2022年10月24日更新
最近tensorflow2更新到了2.10版本,这里更新一下安装方法。
pip 安装方法参见:https://github.com/tensorflow/tensorflow/issues/57679
conda 安装方法:
conda create -n tf python=3.9
conda install cudatoolkit=11.3 cudnn=8.4 -c conda-forge
conda install -c nvidia cuda-nvcc
#conda install -c nvidia cuda-nvcc_linux-64
conda install tensorflow-gpu=2.10 -c conda-forge
从 conda-forge 安装的cudatoolkit 缺少 ptxas, 我们必须从nvidia channel安装cuda-nvcc
以上便完成安装,测试代码有:
import tensorflow as tf
print('tf.version:',tf.__version__)
print('list devices')
print(tf.config.list_physical_devices())
print("test lstm:")
a = tf.random.normal([1,6,3])
l = tf.keras.layers.LSTM(9)
o = l(a)
print("test cnn")
b = tf.random.normal([1,9,9,3])
c = tf.keras.layers.Conv2D(10,3)
d=c(b)
执行结果:
所以一个可行的安装是:
cudatoolkit=11.3.1,cudnn=8.4.1.50,cuda-nvcc=11.8.89,and python=3.9
同样的操作cudatoolkit=11.2是不成功的;对于cuda-nvcc,可以解决报错:
Couldn’t get ptxas version string: INTERNAL: Couldn’t invoke ptxas --version
本次更新完成。
以下于2019年7月2日更新部分,最近tensorflow2.0的由alpha到了beat版本,所以更新一下最新的安装方法(基础环境的搭建不变)
pip install --upgrade pip
pip install --upgrade tensorflow==2.0.0-beta1 #只是CPU版本
pip install --upgrade tensorflow-gpu==2.0.0-beta1#GPU 版本的
#关于测试安装是否成功的测试,与原来是一样的
#会输出2.0.0-beta1
于2019年8月24日再更,今早tensorflow再次更新:
pip install tensorflow==2.0.0rc0 # cpu version
pip install tensorflow-gpu==2.0.0rc0 #gpu version
#最近有了更新rc1版本更新,日期没有记
pip install tensorflow==2.0.0rc1 # cpu version
pip install tensorflow-gpu==2.0.0rc1 #gpu version
#tensorflow rc2版本更新于2019年9月25日,感觉正式版很快就要来了
#安装方法同上,更新内容参见https://github.com/tensorflow/tensorflow/releases/tag/v2.0.0-rc2
#卸载旧版
pip uninstall tensorflow-gpu
pip install tensorflow-gpu==2.0.0rc2
rc的release candidate的意思,基本上是最后的可用于生产的版本,但仍然是测试。感觉有好多特性都有更新,具体的更新内容参见github上官方文档
以上就完成了tensorflow2.0的安装
2019年10月1日更新:tensorflow2.0版本正式发布,安装方法:
pip install --upgrade pip
pip install tensorflow-gpu==2.0.0
2019年10月25日更新,从今天开始,conda支持安装tensorflow2.0,有点小舒服。
conda search tensorflow #搜cpu版
conda search tensorflow-gpu#搜GPU版
#大家可以按需安装
conda install tensorflow-gpu=2.0.0 #各种必备包自动安装,
用conda 安装最好,可以判断所有安装包的版本间的兼容性,如果能安装那么肯定是兼容的。
官网cuda和cudnn要求如下:
linux上驱动要大于410.x,cuda版本只能是10,cudnn版本要大于7.4.
2020年1月10日再更,tensorflow2.1正式发布,有几点更新:
conda create -n dl python=3.6
conda activate dl
conda install cudatoolkit=10.1 cudnn=7.6
pip install tensorflow-gpu #安装tensorflow
pip install torch===1.3.1 torchvision===0.4.2 -f https://download.pytorch.org/whl/torch_stable.html
pip install mxnet-cu101 #三个深度学习库都初装成功
pip install jupyterlab pandas matplotlib pydot scikit-learn seaborn scikit-image opencv-contrib-python
发现个问题,用pip安装的tensorflow2.1需要一个 libnvinfer.so的文件,这个是tensorrt的东西,不装tensorrt会报错:
按照官方教程安装一下就可以,我是用的tar包安装的,版本tensorrt6.其中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:<TensorRT-${version}/lib>
这个命令写到当前用户.bashrc中就可以,然后source一下(如果用deb包安装可以省去改变环境变量这个工作)。
再次进入dl环境,所有pip 安装的内容都不用加sudo.
到此,使用这三个深度学习库都是没有什么问题的。
import tensorflow as tf
import torch
import mxnet as mx
from mxnet.runtime import feature_list
print(mx.test_utils.list_gpus())
print(feature_list())
#会输出:[ CUDA, CUDNN, NCCL, CUDA_RTC, TENSORRT, CPU_SSE, CPU_SSE2, CPU_SSE3, CPU_SSE4_1, CPU_SSE4_2, CPU_SSE4A, CPU_AVX, CPU_AVX2, OPENMP, SSE, F16C, JEMALLOC, BLAS_OPEN, BLAS_ATLAS, BLAS_MKL, BLAS_APPLE, LAPACK, MKLDNN, OPENCV, CAFFE, PROFILER, DIST_KVSTORE, CXX14, INT64_TENSOR_SIZE, SIGNAL_HANDLER, DEBUG, TVM_OP]
print(torch.cuda.is_available())
print(torch.backends.cudnn.version())
print(tf.test.is_gpu_available())
可以看到,三个深度学习库都 可以使用GPU,标红的地方有一个是我们提前安装的包。
#在tensorflow2.1验证是否有gpu进,系统提示deprecated
tf.test.is_gpu_available()#不用了
tf.test.is_built_with_cuda()#是否支持NVIdia GPU
tf.test.is_built_with_rocm()#是否支持AMD的显卡
tf.test.is_built_with_gpu()#NVIDIA或AMD是否有一家的支持
另外,安装tensorrt需要pycuda,所以还要安装有几个额外包,这样在conda环境中才可以用pip安装pycuda.
conda install -c nvidia nvcc_linux-64=10.1
conda install -c conda-forge cudatoolkit-dev=10.1
执行这两个命令才可以安装pycuda
pip install pycuda
如果cudatoolkit是从Nvidia官网下载后按照这里所述方式安装的,上边这两条命令是不需要的。
再次补充
最近遇到一些其它问题,安装cuda10没报错但是tensorflow不能使用,这是因为系统显卡驱动太低,不匹配比较新的cuda10,唯一需要做的就是更新显卡驱动。每个版本的cuda都有显卡驱动的最低要求,如下表(参考官网说明):
可以看到,cuda10的最低版本的要求是410.48。查看原系统的显卡驱动的方法是在shell中输入: nvidia-smi(原系统安装有cuda toolkit才会有该命令)
本人电脑上当前版本是384.98,最高可安装cuda版本是9.0,而cuda9最高支持到tensorflow1.12。
cuda版本与tensorflow版本对应关系如下表(参考官网说明):
显卡驱动安装或更新以及cuda toolkitt和cudnn的系统完装方法参见博客。
2020年5月7日更新
今天,tensorflow2.2正式版发布,更新内容参见github,另外,Keras官网改版了,界面全新,更加接近tf2,可以快乐的学习了。
tensorflow2.2安装方法:
conda create -n dl python=3.7
conda activate dl
conda install cudatoolkit=10.1 cudnn=7.6.5
#tensorflow的安装也方便没啥警告
pip install tensorflow-gpu -i https://pypi.douban.com/simple
#到目前(2020年5月7日)最新的pytorch gpu版本也可以安装
pip install torch==1.5.0+cu101 torchvision==0.6.0+cu101 -f https://download.pytorch.org/whl/torch_stable.html -i https://pypi.douban.com/simple
2021年5月25日更新
随着tf2.x版本的逐渐更新发布,安装方法整体思路可以参考上文,最主要的是显卡驱动的更新,配套cuda版本的更新,cudnn的更新,python版本的要求(这个建议不要选择最新的,除非从源码安装),按照本文的内容,不难找到相关版本要求及安装方法,因此,在没有大的改动时,本文将暂时保持稳定。未来有大的变动时,会进行更新。
有两种方法
import tensorflow as tf
print(tf.__version__)
#输出'2.0.0-alpha0'
print(tf.test.is_gpu_available())
#会输出True,则证明安装成功
2022年6月26日更新
#新版本的tf把tf.test.is_gpu_available()换成如下命令
tf.config.list_physical_devices('GPU')
import tensorflow as tf
with tf.device('/GPU:0'):
a = tf.constant(3)
#输入python,进入python环境
import tensorflow as tf
#查看tensorflow版本
print(tf.__version__)
#输出'2.0.0-alpha0'
#测试GPU能否调用,先查看显卡使用情况
import os
os.system("nvidia-smi")
#调用显卡
@tf.function
def f():
pass
f()
#这时会打印好多日志,我电脑上还有warning,感觉不影响
#再次查询显卡
os.system("nvidia-smi")
可以对比两次使用情况
建意3种测试方法都试一下,有时第一种方法成功,真正建模型进行训练时确会报错,所在最好都试一下。
好了,测试使用的过程也完成了,小伙伴们可以玩起来呀
这里顺便提一下用来tensorflow 学习的资源
引用文章
1 https://docs.anaconda.com/anaconda/user-guide/tasks/tensorflow/
2 https://medium.com/tensorflow/test-drive-tensorflow-2-0-alpha-b6dd1e522b01 需要科学上网
3 https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html
4 https://www.tensorflow.org/install/source#install_python_and_the_tensorflow_package_dependencies
文章浏览阅读101次。4.class可以有⽆参的构造函数,struct不可以,必须是有参的构造函数,⽽且在有参的构造函数必须初始。2.Struct适⽤于作为经常使⽤的⼀些数据组合成的新类型,表示诸如点、矩形等主要⽤来存储数据的轻量。1.Class⽐较适合⼤的和复杂的数据,表现抽象和多级别的对象层次时。2.class允许继承、被继承,struct不允许,只能继承接⼝。3.Struct有性能优势,Class有⾯向对象的扩展优势。3.class可以初始化变量,struct不可以。1.class是引⽤类型,struct是值类型。
文章浏览阅读586次。想实现的功能是点击顶部按钮之后按关键字进行搜索,已经可以从服务器收到反馈的json信息,但从json信息的解析开始就会闪退,加载listview也不知道行不行public abstract class loadlistview{public ListView plv;public String js;public int listlength;public int listvisit;public..._rton转json为什么会闪退
文章浏览阅读219次。如何使用wordnet词典,得到英文句子的同义句_get_synonyms wordnet
文章浏览阅读521次。系统项目报表导出 导出任务队列表 + 定时扫描 + 多线程_积木报表 多线程
文章浏览阅读1.1k次,点赞9次,收藏9次。使用AJAX技术的好处之一是它能够提供更好的用户体验,因为它允许在不重新加载整个页面的情况下更新网页的某一部分。另外,AJAX还使得开发人员能够创建更复杂、更动态的Web应用程序,因为它们可以在后台与服务器进行通信,而不需要打断用户的浏览体验。在Web开发中,AJAX(Asynchronous JavaScript and XML)是一种常用的技术,用于在不重新加载整个页面的情况下,从服务器获取数据并更新网页的某一部分。使用AJAX,你可以创建异步请求,从而提供更快的响应和更好的用户体验。_ajax 获取http数据
文章浏览阅读2.8k次。登录退出、修改密码、关机重启_字符终端
文章浏览阅读3.8k次,点赞3次,收藏51次。前段时间看到一位发烧友制作的超声波雷达扫描神器,用到了Arduino和Processing,可惜啊,我不会Processing更看不懂人家的程序,咋办呢?嘿嘿,所以我就换了个思路解决,因为我会一点Python啊,那就动手吧!在做这个案例之前先要搞明白一个问题:怎么将Arduino通过超声波检测到的距离反馈到Python端?这个嘛,我首先想到了串行通信接口。没错!就是串口。只要Arduino将数据发送给COM口,然后Python能从COM口读取到这个数据就可以啦!我先写了一个测试程序试了一下,OK!搞定_超声波扫描建模 python库
文章浏览阅读4.2k次。端—端加密指信息由发送端自动加密,并且由TCP/IP进行数据包封装,然后作为不可阅读和不可识别的数据穿过互联网,当这些信息到达目的地,将被自动重组、解密,而成为可读的数据。不可逆加密算法的特征是加密过程中不需要使用密钥,输入明文后由系统直接经过加密算法处理成密文,这种加密后的数据是无法被解密的,只有重新输入明文,并再次经过同样不可逆的加密算法处理,得到相同的加密密文并被系统重新识别后,才能真正解密。2.使用时,加密者查找明文字母表中需要加密的消息中的每一个字母所在位置,并且写下密文字母表中对应的字母。_凯撒加密
文章浏览阅读5.7k次。CIP报文解析常用到的几个字段:普通类型服务类型:[0x00], CIP对象:[0x02 Message Router], ioi segments:[XX]PCCC(带cmd和func)服务类型:[0x00], CIP对象:[0x02 Message Router], cmd:[0x101], fnc:[0x101]..._cip协议embedded_service_error
文章浏览阅读2.4k次,点赞9次,收藏13次。有时候我们在MFC项目开发过程中,需要用到一些微软已经提供的功能,如VC++使用EXCEL功能,这时候我们就能直接通过VS2019到如EXCEL.EXE方式,生成对应的OLE头文件,然后直接使用功能,那么,我们上篇文章中介绍了vs2017及以前的版本如何来添加。但由于微软某些方面考虑,这种方式已被放弃。从上图中可以看出,这一功能,在从vs2017版本15.9开始,后续版本已经删除了此功能。那么我们如果仍需要此功能,我们如何在新版本中添加呢。_vs添加mfc库
文章浏览阅读785次。用ac3编码,执行编码函数时报错入如下:[ac3 @ 0x7fed7800f200] frame_size (1536) was not respected for anon-last frame (avcodec_encode_audio2)用ac3编码时每次送入编码器的音频采样数应该是1536个采样,不然就会报上述错误。这个数字并非刻意固定,而是跟ac3内部的编码算法原理相关。全网找不到,国内音视频之路还有很长的路,音视频人一起加油吧~......_frame_size (1024) was not respected for a non-last frame
文章浏览阅读230次,点赞2次,收藏2次。创建Android应用程序一个项目里面可以有很多模块,而每一个模块就对应了一个应用程序。项目结构介绍_在安卓移动应用开发中要在活动类文件中声迷你一个复选框变量