Linux和Windows下的分页压缩:拆分大文件的niubilitier_神芷迦蓝寺的博客-程序员宝宝

技术标签: Linux  Windows  分页压缩  

讲此之前,我们先了解一下压缩的特点

  1. 对结构化,半结构化数据压缩有效性高,对图片,视频这些非结构化致密数据压缩有效性低,即源文件100M,压缩后估计也就是99M
  2. 压缩有上限值,比如一个100M的文件第一次压缩为50M,再压缩为40M,再再压缩36M,再再再...再压缩最多只能压到35M,因为文件的本身最密性就是35M,参考一节地铁车厢最多只能装100人,便再也压不下去
  3. 压缩格式有zip,gzip,tar.gz,7z,rar等等,每个格式都有其特性,windows常见的是zip和rar,Linux常见的是tar.gz,zip,可以根据压缩效率,压缩时间等等选择最优解
  4. 文件传输时建议多个文件压缩成一个文件传而不是一个个的传,前者效率更好,参考苹果单核CPU吊打酷睿八核
  5. 压缩既可以多个转一个,也可以一个拆分成多个,这便是我们的主角:分页压缩

分页压缩的应用场景:一个文件非常大,大到即使压缩后也超过文件传输时的限制,比如某图片101M,不能在微信传,某视频2.1G,不能在钉钉,邮箱等传,因为应用接口原因他们传输单个文件的最大值已经限定了,所以就必须拆分文件来进行传输,相比降质图片,裁剪视频等会对源文件造成影响,分页压缩就成了一个极为合适的方法

分页压缩使用方法

  • 对于Windows

市场上随便一个windows应用压缩软件都可以,比如winRar,360zip等,如下合适选择分页压缩后

如果需要解压,需要选中全部,并点击解压

  • 对于Linux
# rar
# 最大限制为 12M
rar a -v12m test.rar test.txt
# 解压
rar e test.part1.rar

# tar
tar czf - test.txt | split -b 5M - test.tar.gz
# 解压
cat logs.tar.bz2.a* | tar xj

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/mochou111/article/details/106902336

智能推荐

Python是如何进行内存管理的?(图文讲解)_敲代码敲到头发茂密的博客-程序员宝宝_python管理内存

gc.set_threshold设置垃圾回收阈值(收集频率)。将threshold0设为零会禁用回收。先调用dela;再调用gc.collect()即可手动启动GC(嵌套的引用删除不了,因为引用计数为1)Python提供了对内存的垃圾收集机制,但是它将不用的内存放到内存池而不是返回给操作系统。在python的底层中,再去维护一个链表,这个链表中专门放那些可能存在循环引用的对象。为什么引用计数为2呢?为了解决上述的问题,...

bind 用法及简单实现原理_Zedd_01的博客-程序员宝宝_bind用法

前言bind 和 call/apply 一样,都是用来改变上下文 this 指向的,不同的是,call/apply 是直接使用在函数上,而 bind 绑定 this 后返回一个函数(闭包),如下:var obj = { init: 1, add: function(a, b) { return a + b + this.init; }}obj...

【Django】——继承自带的用户模型类_user_san的博客-程序员宝宝

1、打开pycharm终端——进入apps目录——创建子应用usersdjango-admin startapp users2、配置文件注册子应用,子应用新建urls.py文件,内层目录super_mall下的主路由中映射子路由3、用户模块操作3.1、用户模型类自定义注意:由于我们需要使用Django的身份认证等功能,所以在自定义用户模型类的时候,必须继承自AbstactUser用户模型基类!3.1.1、编辑apps/users/models.py文件自定义用户模型类:# 我们重写用

matlab时频分析_rayna00的博客-程序员宝宝_matlab 时频分析

原文链接    之前写过有关matlab时频分析的博客(时频特性分析http://blog.sina.com.cn/s/blog_6163bdeb0102dvwr.html,时频工具箱函数http://blog.sina.com.cn/s/blog_6163bdeb0102dvzd.html ),用工具箱里函数帮助里的代码测试使用,发现挺简单,就没有继续深究,最近又需要用了,才

JS学习总结_yonghui0715的博客-程序员宝宝

js的声明学习: 1.在head标签中使用script标签进行js代码域的声明--------------------------------------------------------------------------------<script type="text/javascript"> alert("这是我的第一个JS") </script&...

hi3531 SDK已编译文件系统制作jffs2文件系统镜像并解决问题 ._毛毛虫的爹的博客-程序员宝宝_hi3526编译 jffs2

一, 安装SDK1、Hi3531 SDK包位置    在"Hi3531_V100R001***/01.software/board"目录下,您可以看到一个 Hi3531_SDK_Vx.x.x.x.tgz 的文件,该文件就是Hi3531的软件开发包。2、解压缩SDK包    在linux服务器上(或者一台装有

随便推点

numpy常用函数总结_guoyang111的博客-程序员宝宝

首先,安装python的numpy库,需要用到时,利用import numpy as np(以下都用np表示)导入txt数据: np.loadtxt('*.txt', delimiter=',') , 这里的文件不限txt,如常用的csv也可以,后面delimiter为分隔符。另一种导入数据方式可以直接用load,如对.npy数据集等。导入后为数组结构,之后可以类似matlab操作对数

一个最新发现,原来程序员的最终归宿在这里。_左潇龙的博客-程序员宝宝_一个最新发现,原来程序员的最终归宿在这里。

地狱    在北京生活的时候,LZ每天都在琢磨一些生活上未来必须要面对的事。没办法,还有两三年,LZ就快30了,也已经结婚了,有些事情不得不考虑。  比如房子买不起怎么办?(北京的房价,LZ真是日了狗了)  比如车摇不到号怎么办?(摇过号的都知道,那概率,真是日了鸡了)  比如没户口孩子上学怎么整?(户口这东西,LZ只要一想,就已经想把所有动物都日一遍了)  这三个大问题一

程序员:想知道你每天按了多少次键盘吗?_weixin_30384031的博客-程序员宝宝

这个开源软件还挺有趣,可以统计你每天按了多少次键盘,哪个键按得最多?最近几天的趋势?今天什么时间工作最积极?keykee 2.0 发布, 一个记录你键盘使用情况的软件这是一个记录键盘的使用情况的软件,使用 Python 编写,客户端使用了 Ant Design 目前它长这个样子技术FlaskSQLiteReactAnt Design安装首先...

linux网卡驱动rtl8188cu,linux下编译基于rtl8188cu控制芯片的USB无线网卡驱动 -电脑资料..._酷酷猫先辈的博客-程序员宝宝

本人因为实验的需要,需要在嵌入式linux环境下添加wifi功能,通过在网上调研,选择基于rtl8188cu控制芯片的水星NW150UM无线USB网卡,现简单记录下配置过程,1.下载最新的rtl8188cu的linux驱动:下载页面 : ftp://WebUser:[email protected]/cn/wlan/RTL8188C_8192C_USB_linux_v4.0.2_9000...

工业场景知识图谱落地实战_Necther的博客-程序员宝宝

公众号 系统之神与我同在本文包含以下四部分内容:1、痛点分析2、图谱构建流程3、核心技术解析4、应用案例痛点分析设备信息分布散乱各种设备知识分散在不同数据库、电子文件、 线下文档中,结构化水平低。设备知识运营管理困难不同类型的设备知识需要,纯靠人 力难以进行管理知识库构建运营成 本高。知识处理技术手段有限检索设备知识不方便;统计设备知 识缺少可靠的技术手段。知识服务能力不足无法满足专业人员进行现场故障缺陷 分析、做出相关专业结论与建议 。设备知识资料增长迅速设备每天都会产生.