技术标签: 爬虫
找到登陆接口后,用requests.post()请求该网页URL,之后将得到的cookie存入本地。
遇到什么问题?
参数问题,在requests的post中要用,data。在get中要用params,这个就搞人了。
给我感觉cookie的作用。没有cookie,一些网站是不能爬取的,要爬就需要cookie,那么有些网站必须登陆才有对的cookie可以获取。得到cookie后存入本地。
这个登陆接口页面的cookie也就是豆瓣主页的需要的cookie,什么时候cookie会变 我也不知道,我退出豆瓣之后,对于接口的请求就失效了,得不到cookie了,但是保存下来的cookie能保持较长是间的有效。
也就是说,加了存储的cookie依然能够获取到豆瓣主页信息
1
先登陆豆瓣,找到接口
2
post请求接口url,带入账号密码等等参数,加上接口的cookie,headers
将cookie存入本地
3
使用时读取cookie,赋值给变量
file = open(“文件名.pickle”,‘rb’)
dict_cookie = pickle.load(file)
4
再请求主网站,带上dict_cookie
之后就可以访问到了。
```python
import requests
import pickle
url ="https://www.douban.com/"
headers = {
"User-Agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.141 Safari/537.36"}
file =open("douban.pickle","rb")
dict_cookie = pickle.load(file)
res = requests.get(url,headers=headers,cookies=dict_cookie)
print(res.text)
文章浏览阅读66次。用户管理:一.用户的配置文件:用户配置文件的路径:/etc/passwd/etc/passwd的一部分内容:每一行都是一个用户的信息(内容如下):用户名 :密码 :uid :gid :用户的备注 :用户的家目录 :和根交互使用的shell路径 二.用户超级用户root ----- uid为 0系统用户 ----- 使用的shell的路径为 /sbin/nologin ,uid为 201 —— 999,添加系统用户不会默认创建家目录和邮箱普通用户 ----- uid为 1000 ——
文章浏览阅读6.9k次。心田花开为大家分享了二年级语文上册黄山奇石练习题,本部分练习题包括了看拼音,写词语;选择合适的字;填空题;造句子及句子赏析,最后附加课文原文,希望能对大家学习有帮助。【原文】黄山奇石闻名中外的黄山风景区在我国安徽省南部。那里景色秀丽神奇,尤其是那些怪石,有趣极了。就说“仙桃石”吧,它好像从天上飞下来的一个大桃子,落在山顶的石盘上。在一座陡峭的山峰上,有一只“猴子”。它两只胳膊抱着腿,一动不动..._黄山奇石阅读题及答案二年级
文章浏览阅读3.2k次,点赞45次,收藏7次。tab导航的中间开始然后向两边过渡的动画效果,增加页面的美观性..._css过度动画从中间向两边移动
文章浏览阅读175次。S7-1515-2pn 带pn总线设备有 库卡机器人 西门子S120伺服驱动器 sew伺服驱动器 pn绝对值编码器 SSI编码器应用 7个触摸屏包含程序 一个上位机组态画面包含程序 包含graph语言编写的程序 STL SCL语言编写的程序 模拟量采集 是学习西门子工艺对象组态运动控制 机器人等不可多得呢学习资料 全部程序均调试通过可以立即应用。通过对S7-1515-2pn带pn总线设备的应用,我们可以实现各种工业自动化控制,比如各种机器人的控制、数控机床的控制等等。_pn总线伺服
文章浏览阅读2.1k次。当在一个应用程序能改动数据库,而其他应用程序都不能改动时,基本就说明表被锁了。_oracle锁表查询和解锁方法
文章浏览阅读1.5k次,点赞21次,收藏38次。DBSCAN聚类算法是一种基于空间密度有传递性质的聚类算法,将簇定义为密度相连的点的最大的集合,可以将高密度点区域划分为簇,并有效地过滤低密度点区域,可以在含有噪声的数据集中识别任意形状和数量的簇。_dbscan调参
文章浏览阅读4.5k次,点赞2次,收藏21次。通信技术基础知识汇总智能网(Intelligentized Network)的思想起源于美国。20世纪80年代初,AT&T公司就采用集中数据库方式提供800号(被叫付费)业务和电话记帐卡业务,这是智能网的雏形。后来国际电联ITU-T (International Telecommunications Union)在1992年正式命名了智能网一词。智能网是在现有交换与传输的基础网络结构上,为快速、方便、经济地提供电信新业务(或称增值业务)而设置的一种附加网络结构。智能网提供新业务的突出优点是可以做到快_isdn传输距离
文章浏览阅读2w次,点赞2次,收藏10次。把应用程序拉取到桌面上。_matlab激活后报错error8
文章浏览阅读4.4k次,点赞17次,收藏46次。 【fishing-pan:https://blog.csdn.net/u013921430转载请注明出处】概述 局部变量 在一个函数内部定义的变量(包括函数形参)是局部变量。 全局变量 在函数外定义的变量是局部变量。 静态变量 静态全局变量 在全局变量..._动态局部对象
文章浏览阅读928次。1、加速网上邻居在Windows XP中访问网上邻居是相当恼人的,系统会搜索自己的共享目录和可作为网络共享的打印机以及计划任务中和网络相关的计划任务,然后才显示出来,显然这样速度就会比Windows 9x中慢很多。其实这些功能我们并没有使用上,与其不用还不如删除它们,这样速度就会明显加快。打开注册表编辑器,找到HKEY_LOCAL_ MACHINE/sofeware/Microsoft/Windo..._prefetchparameters
文章浏览阅读5.4k次,点赞16次,收藏31次。学习axios必知必会(1)~axios基本介绍、axios配置、json-server接口模拟工具_axios httpagent
文章浏览阅读192次。我是一个老程序员,最近因为公司,因为家事,心情一直比较郁闷,偶尔翻翻,在网上看到了一个故事,内容写的就是一个毕业的学生如何打拼职场的,一开始感觉一般,但随着故事的推进,能体会到主人公的辛酸,更重要的是,发现了自己当年的影子,在这里推荐给大家,我每日发一篇,有可能会侵占版权,是吗,呵呵,但愿没有,随便吧,我想作者还应该感谢我呢。 公司杀手 一个刚毕业的大学生,对社会、对工作、对生活、对爱情充满了美好的向往,可没想到他却在跌跌撞撞中前行。他的职场之