python爬取链家二手房信息_江水居士的博客-程序员宝宝

爬取过程分析：
1、链家网url：https://bj.lianjia.com/ershoufang/pg2/
显示的二手房信息每个url递增一
2、访问时要加头信息，否则无法访问
3、用beautifulsoup解析网页，找到二手房信息
4、将信息简单处理后保存成csv文件

具体代码如下：

import requests
import re
from bs4 import BeautifulSoup

i=0

with open('./lianjia/lianjia.csv','a') as file:
     for j in range(1,100,1):
          i+=1
          url = 'https://bj.lianjia.com/ershoufang/pg+str(i)'
          headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}
          resp = requests.get(url,headers = headers).text
          # print(resp)

          soup = BeautifulSoup(resp,'lxml')
          infos = soup.find('ul',{'class':'sellListContent'}).find_all('li')
          # print(infos)

          for info in infos:
               name = info.find('div',{'class':'title'}).find('a').get_text()
               price = info.find('div',{'class':'totalPrice'}).find('span').get_text()
               address = info.find('div',{'class':'address'}).get_text()
               print(address)
               area = re.split(r'\|',address)[2]
               print(area)
               file.write('{},{},{},{}\n'.format((name),(price),(address),area))

本文链接：https://blog.csdn.net/qq_35557718/article/details/97920146

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

安装hadoop和spark_我家大宝最可爱的博客-程序员宝宝

scalaspark 可以看到spark要求hadoop版本大于2.7，解压完后添加到环境变量中（）hadoop 记得版本要大于2.7winutils 这个是保证hadoop在windows正常运行的依赖，找到与hadoop对应的版本，将bin里面的文件拷贝到hadoop的bin目录里...

javaweb设计简易购物车_Laura_Wangzx的博客-程序员宝宝

javaweb设计简易购物车&lt;%@ page language="java" contentType="text/html; charset=ISO-8859-1" pageEncoding="ISO-8859-1" import="java.util.*"%&gt;&lt;!DOCTYPE html PUBLIC "-//W3C//DTD HTML 4.01 Transit

SD--关于SD业务几个TCODE操作的SAP表跟踪_yong325的博客-程序员宝宝

1、VL01A(交货的销售订单到期)该TCODE对应的读取数据程序：/1SAP1/%LE_SHP%_VEPVG99A004 操作的SAP表：vepvg对应代码程序：SELECT * INTO TABLE cx_sd_order-vepvg FROM vepvg WHERE* VEPVG-Selektionskri

centos7 supervisor未能开机启动_supervisor没起来_pengdayong77的博客-程序员宝宝

问题描述：启动虚似机后，发现supervisor没有正常启动。首先使用ps -ef|grep supervisor查看程序是否启动。发现没有启动。使用supervisorctl start 启动supervisor报错说是没有sock文件。查找ls /var/run/supervisor/ 看这个，发现没有这个文件。执行下面的语句再次查找文件，发现已经可以看到...

CTFSHOW--PHPCVE复现_小蓝同学`的博客-程序员宝宝

CTFSHOW--PHPCVE复现web311[CVE-2019-11043]web312(CVE-2018-19518)web313(CVE-2018-19518)web314:(日志文件包含)web315:(XDebug 远程调试漏洞)web311[CVE-2019-11043]web312(CVE-2018-19518)同样，没有任何的界面就直接抓包，发现是X-Powered-By: PHP/5.6.38,网上搜索发现是CVE-2018-19518 PHP imap 远程命令执行漏洞。简介：

利用GitHub+Hexo搭建个人博客详细教程|Zam9036博客_Zam9036的博客-程序员宝宝

前言什么是GitHub GitHub是一个面向开源及私有软件项目的托管平台，因为只支持git 作为唯一的版本库格式进行托管，故名GitHub。 GitHub于2008年4月10日正式上线，除了Git代码仓库托管及基本的 Web管理界面以外，还提供了订阅、讨论组、文本渲染、在线文件编辑器、协作图谱（报表）、代码片段分享（Gist）等功能。目前，其注册用户已经超过350万，托管版本数量也是非...