技术标签： python3爬虫数据清洗与可视化实战pdf百度云
本书是一本通过实战教初学者学习爬取数据、清洗和组织数据进行分析和可视化的Python 读物。书中案例均经过实战检验，笔者在实践过程中深感采集数据、清洗和组织数据的重要性，作为一名数据行业的“码农”，数据就是沃土，没有数据，我们将无田可耕。本书共13 章，包括6 个核心主题，其一是Python 基础入门，包括环境配置、基本操作、数据类型、语句和函数；其二是Python 爬虫的构建，包括网页结构解析、爬虫流程设计、代码优化、爬虫效率优化、无线端的数据采集、容错处理、反防爬虫、表单交互和模拟页面点击；其三是Python数据库应用，包括MongoDB、MySQL 在Python 中的连接与应用；其四是数据清洗和组织，包括NumPy 数组知识，以及pandas 数据的读写、分组、变形，缺失值、异常值和重复值处理，时序数据处理和正则表达式的使用等；其五是综合应用实例，帮助读者贯穿爬虫、数据清洗与组织的过程；很后是数据可视化，包括matplotlib 和pyecharts 两个库的使用，涉及饼图、柱形图、线图、词云图等图形，帮助读者进入可视化的殿堂。本书以实战为主，适合Python 初学者及高等院校相关专业的学生阅读，也适合Python 培训机构作为实验教材。
章 Python 语言基础 1
1.1 安装Python 环境 1
1.1.1 Python 3.6.2 安装与配置 1
1.1.2 使用IDE 工具――PyCharm 4
1.1.3 使用IDE 工具――Anaconda 4
1.2 Python 操作入门 5
1.2.1 编写个Python 代码 5
1.2.2 Python 基本操作 . 8
1.2.3 变量 . 10
1.3 Python 数据类型 . 10
1.3.1 数字 . 10
1.3.2 字符串 11
1.3.3 列表 . 14
1.3.4 元组 . 15
1.3.5 集合 . 15
1.3.6 字典 . 15
1.4 Python 语句与函数 16
1.4.1 条件语句 16
1.4.2 循环语句 16
1.4.3 函数 . 17
1.5 习题 18
第2 章 数据采集的基本知识 . 25
2.1 关于爬虫的合法性 25
2.2 了解网页 . 27
2.2.1 认识网页结构 28
2.2.2 写一个简单的HTML 28
2.3 使用requests 库请求网站 . 30
2.3.1 安装requests 库 30
2.3.2 爬虫的基本原理 32
2.3.3 使用GET 方式抓取数据 . 33
2.3.4 使用POST 方式抓取数据 .. 34
2.4 使用Beautiful Soup 解析网页 37
2.5 清洗和组织数据 . 41
2.6 爬虫攻防战 42
2.7 关于什么时候存储数据 . 45
2.8 习题 45
第3 章 用API 爬取天气预报数据 . 48
3.1 注册免费API 和阅读技术文档 . 48
3.2 获取API 数据 50
3.3 存储数据到MongoDB 55
3.3.1 下载并安装MongoDB . 55
3.3.2 在PyCharm 中安装Mongo Plugin . 56
3.3.3 将数据存入MongoDB 中 59
3.4 MongoDB 数据库查询 61
3.5 习题 64
第4 章 大型爬虫案例：抓取某电商网站的商品数据 . 65
4.1 观察页面特征和解析数据. 65
4.2 工作流程分析 74
4.3 构建类目树 75
4.4 获取景点产品列表 78
4.5 代码优化 . 80
4.6 爬虫效率优化 .. 84
4.7 容错处理 . 87
4.8 习题 87
第5 章 采集手机App 数据 . 89
5.1 模拟器及抓包环境配置 . 89
5.2 App 数据抓包 .. 93
5.3 手机App 数据的采集 95
5.4 习题 96
第6 章 Scrapy 爬虫 . 98
6.1 Scrapy 简介 98
6.2 安装Scrapy 99
6.3 案例：用Scrapy 抓取股票行情 . 100
6.4 习题 . 108
第7 章 Selenium 爬虫 109
7.1 Selenium 简介 109
7.2 安装Selenium 111
7.3 Selenium 定位及操作元素 . 111
7.4 案例：用Selenium 抓取某电商网站数据 . 114
7.5 习题 . 122
第8 章 爬虫案例集锦 124
8.1 采集外卖平台数据 . 124
8.1.1 采集目标 124
8.1.2 采集代码 126
8.2 采集内容平台数据 . 127
8.2.1 采集目标 127
8.2.2 采集代码 129
8.3 采集招聘平台数据 . 130
8.3.1 采集目标 130
8.3.2 采集代码 132
8.4 采集知识付费平台数据 .. 133
8.4.1 采集目标 133
8.4.2 采集代码 136
第9 章 数据库连接和查询 137
9.1 使用PyMySQL . 137
9.1.1 连接数据库 .. 137
9.1.2 案例：某电商网站女装行业TOP100 销量数据 139
9.2 使用SQLAlchemy .. 141
9.2.1 SQLAlchemy 基本介绍 . 141
9.2.2 SQLAlchemy 基本语法 . 142
9.3 MongoDB . 144
9.3.1 MongoDB 基本语法 144
9.3.2 案例：在某电商网站搜索“连衣裙”的商品数据 145
9.4 习题 . 146
0 章 NumPy 数组操作 148
10.1 NumPy 简介 148
10.2 一维数组 149
10.2.1 数组与列表的异同 149
10.2.2 数组的创建 150
10.3 多维数组 151
10.3.1 多维数组的高效性能 151
10.3.2 多维数组的索引与切片 152
10.3.3 多维数组的属性和方法 153
10.4 数组的运算 .. 154
10.5 习题 155
1 章 pandas 数据清洗 158
11.1 数据读写、选择、整理和描述 . 158
11.1.1 从CSV 中读取数据 160
11.1.2 向CSV 中写入数据 161
11.1.3 数据选择 . 161
11.1.4 数据整理 . 163
11.1.5 数据描述 . 164
11.2 数据分组、分割、合并和变形 . 165
11.2.1 数据分组 . 165
11.2.2 数据分割 . 168
11.2.3 数据合并 . 169
11.2.4 数据变形 . 175
11.2.5 案例：旅游数据的分析与变形 177
11.3 缺失值、异常值和重复值处理 . 181
11.3.1 缺失值处理 181
11.3.2 检测和过滤异常值 184
11.3.3 移除重复值 187
11.3.4 案例：旅游数据值的检查与处理 . 189
11.4 时序数据处理 . 192
11.4.1 日期/时间数据转换 192
11.4.2 时序数据基础操作 193
11.4.3 案例：天气预报数据分析与处理 . 195
11.5 数据类型转换 . 199
11.6 正则表达式 201
11.6.1 元字符与限定符 . 201
11.6.2 案例：用正则表达式提取网页文本信息 . 202
11.7 习题 203
2 章 综合应用实例 206
12.1 按性价比给用户推荐旅游产品 . 206
12.1.1 数据采集 . 207
12.1.2 数据清洗、建模 . 211
12.2 通过热力图分析为用户提供出行建议 . 213
12.2.1 某旅游网站热门景点爬虫代码 .. 217
12.2.2 提取CSV 文件中经纬度和销量信息 . 220
12.2.3 创建景点门票销量热力图HTML 文件 221
3 章 数据可视化 . 224
13.1 应用matplotlib 画图 225
13.1.1 画出各省份平均价格、各省份平均成交量柱状图 225
13.1.2 画出各省份平均成交量折线图、柱状图、箱形图和饼图 227
13.1.3 画出价格与成交量的散点图 228
13.2 应用pyecharts 画图 228
13.2.1 Echarts 简介 228
13.2.2 pyecharts 简介 229
13.2.3 初识pyecharts，玫瑰相送 229
13.2.4 pyecharts 基本语法 230
13.2.5 基于商业分析的pyecharts 图表绘制 . 232
13.2.6 使用pyecharts 绘制其他图表 . 242
13.2.7 pyecharts 和Jupyter 245
13.3 习题 246
文章浏览阅读2w次，点赞7次，收藏51次。四个步骤1.创建C++ Win32项目动态库dll 2.在Win32项目动态库中添加 外部依赖项 lib头文件和lib库3.导出C接口4.c#调用c++动态库开始你的表演...①创建一个空白的解决方案，在解决方案中添加 Visual C++ , Win32 项目空白解决方案的创建：添加Visual C++ , Win32 项目这......_c#调用lib
文章浏览阅读4.6k次。苹方字体是苹果系统上的黑体，挺好看的。注重颜值的网站都会使用，例如知乎：font-family: -apple-system, BlinkMacSystemFont, Helvetica Neue, PingFang SC, Microsoft YaHei, Source Han Sans SC, Noto Sans CJK SC, W..._ubuntu pingfang
文章浏览阅读159次。表单表单概述表单标签表单域按钮控件demo表单标签表单标签基本语法结构<form action="处理数据程序的url地址“ method=”get|post“ name="表单名称”></form><!--action,当提交表单时，向何处发送表单中的数据，地址可以是相对地址也可以是绝对地址--><!--method将表单中的数据传送给服务器处理，get方式直接显示在url地址中，数据可以被缓存，且长度有限制；而post方式数据隐藏传输，_html表单的处理程序有那些
文章浏览阅读1.2k次。使用说明:开启Google的登陆二步验证（即Google Authenticator服务）后用户登陆时需要输入额外由手机客户端生成的一次性密码。实现Google Authenticator功能需要服务器端和客户端的支持。服务器端负责密钥的生成、验证一次性密码是否正确。客户端记录密钥后生成一次性密码。下载谷歌验证类库文件放到项目合适位置(我这边放在项目Vender下面)https://github.com/PHPGangsta/GoogleAuthenticatorPHP代码示例://引入谷_php otp 验证器
文章浏览阅读4.3k次，点赞5次，收藏11次。matplotlib.plot画图横坐标混乱及间隔处理_matplotlib更改横轴间距
文章浏览阅读2.2k次。①Storage driver 处理各镜像层及容器层的处理细节，实现了多层数据的堆叠，为用户 提供了多层数据合并后的统一视图②所有 Storage driver 都使用可堆叠图像层和写时复制（CoW）策略③docker info 命令可查看当系统上的 storage driver主要用于测试目的，不建议用于生成环境。_docker 保存容器
文章浏览阅读834次，点赞27次，收藏13次。网络拓扑结构是指计算机网络中各组件（如计算机、服务器、打印机、路由器、交换机等设备）及其连接线路在物理布局或逻辑构型上的排列形式。这种布局不仅描述了设备间的实际物理连接方式，也决定了数据在网络中流动的路径和方式。不同的网络拓扑结构影响着网络的性能、可靠性、可扩展性及管理维护的难易程度。_网络拓扑csdn
文章浏览阅读1.8k次，点赞5次，收藏8次。IOS系统Date的坑要创建一个指定时间的new Date对象时，通常的做法是：new Date("2020-09-21 11:11:00")这行代码在 PC 端和安卓端都是正常的，而在 iOS 端则会提示 Invalid Date 无效日期。在IOS年月日中间的横岗许换成斜杠，也就是new Date("2020/09/21 11:11:00")通常为了兼容IOS的这个坑，需要做一些额外的特殊处理，笔者在开发的时候经常会忘了兼容IOS系统。所以就想试着重写Date函数，一劳永逸，避免每次ne_date.prototype 将所有 ios
文章浏览阅读5.3k次。方法一：用PLSQL Developer工具。 1 在PLSQL Developer的sql window里输入select * from test for update; 2 按F8执行 3 打开锁, 再按一下加号. 鼠标点到第一列的列头，使全列成选中状态，然后粘贴，最后commit提交即可。（前提..._excel导入pl/sql
文章浏览阅读83次。Git常用命令速查手册1、初始化仓库git init2、将文件添加到仓库git add 文件名 # 将工作区的某个文件添加到暂存区 git add -u # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，不处理untracked的文件git add -A # 添加所有被tracked文件中被修改或删除的文件信息到暂存区，包括untracked的文件...
文章浏览阅读202次。分享119个ASP.NET源码总有一个是你想要的_千博二手车源码v2023 build 1120
文章浏览阅读1.8k次。版权声明：转载请注明出处 http://blog.csdn.net/irean_lau。目录(?)[+]1、缺省构造函数。2、缺省拷贝构造函数。3、 缺省析构函数。4、缺省赋值运算符。5、缺省取址运算符。6、 缺省取址运算符 const。[cpp] view plain copy_空类默认产生哪些类成员函数