简介本资源是一套面向房地产数据分析初学者与行业研究者的Python链家二手房及租房数据爬虫实战源码解决房产市场原始数据获取难、结构化处理门槛高的实际问题适用于市场调研、价格趋势分析、区域供需评估等场景。压缩包共20个文件含8个核心Python脚本涵盖爬虫调度、反爬适配、数据建模与配置管理、2个CSV数据文件已预存示例房源与小区信息、2个PNG可视化图表、2个文本文件含社区ID列表与依赖说明、1个Jupyter Notebook集成数据清洗与基础分析流程以及Git配置、开源许可与Markdown文档等辅助文件整体大小为10.85MB。已有704人学习下载。读者可直接运行scrawl.py与woaiwojialib.py完成链家网页数据抓取借助lianjia.ipynb快速开展探索性分析并通过settings.py与model.py灵活调整采集字段与存储逻辑目录模块划分清晰兼顾可读性与工程可扩展性。1. 项目概述与核心价值最近在做一个数据分析项目需要大量城市二手房和租房市场的实时数据第一反应就是链家。作为国内最大的房产信息平台之一链家网站上的房源信息从价格、面积、户型到地理位置、周边配套简直是研究市场趋势、进行区域分析的宝藏。但手动收集不仅效率低下而且难以保证数据的连续性和规模。于是一个基于Python的链家数据爬虫就成了刚需。这个项目本质上就是设计一个自动化工具能够稳定、高效地从链家官网抓取我们需要的二手房和租房数据并将这些非结构化的网页信息转化为结构化的、可供分析的表格或数据库记录。它解决的不仅仅是“获取数据”的问题更是“如何规模化、自动化、合规地获取高质量数据”的问题。无论是想做市场调研的报告、开发房价预测模型还是单纯想监控心仪小区的价格波动这个爬虫都能帮你把基础的数据苦力活给干了。整个设计会围绕几个核心点展开如何模拟真实用户访问以避免被反爬机制拦截如何精准地解析链家复杂的页面结构来提取关键字段以及如何设计数据存储流程以保证后续分析的便利性。接下来我会把整个从思路到代码的实现过程拆解清楚包括我踩过的坑和总结出的实用技巧。2. 爬虫整体设计与核心思路拆解2.1 目标分析与策略制定在动手写代码之前明确目标和策略至关重要。我们的目标是链家网的二手房和租房列表页及详情页数据。核心数据字段包括房源基础信息标题、总价、单价、面积、户型室/厅/卫、楼层、朝向、装修情况、建筑年代。位置信息所在小区、行政区、板块商圈、具体地址。房源特色与标签是否近地铁、是否有电梯、产权性质、交易权属等。房源描述与图片经纪人发布的房源描述文本以及图片链接通常需要进一步处理。租房特有信息月租金、付款方式押一付三等、租赁方式整租/合租。策略层面需要考虑以下几点反爬应对链家作为大型平台反爬措施比较完善。直接使用requests库频繁访问很容易触发验证码或IP封禁。因此核心策略是模拟浏览器行为和控制访问频率。User-Agent轮换准备多个常见的浏览器UA字符串每次请求随机使用。请求头Headers完善除了UA还需要包含Referer、Accept-Language等字段使其更像真实浏览器。IP代理池可选但推荐对于大规模、长时间抓取使用付费或自建的代理IP池是避免IP被封的有效手段。对于小规模或学习用途可以通过显著降低请求频率如每页间隔5-10秒来规避。Cookie管理首次访问获取Cookie并在后续请求中携带维持会话状态。页面解析链家页面结构清晰但细节较多使用BeautifulSoup或lxml配合css selector或xpath可以高效定位元素。关键在于找到稳定、不易变的CSS类名或数据属性。数据存储根据数据量和使用场景选择。小规模测试可以用CSV或JSON文件。对于成千上万条数据建议使用SQLite轻量级或MySQL/PostgreSQL数据库便于后续的查询和分析。本项目将展示CSV和SQLite两种方式。爬取逻辑采用“列表页-详情页”两级抓取模式。第一级遍历城市、行政区、板块的房源列表页获取每个房源的唯一ID如101123456789和详情页链接。第二级根据详情页链接逐个访问并解析获取完整的房源信息。2.2 技术栈选型与工具准备为什么选择这些工具这是基于稳定性、社区支持和开发效率的综合考量。Python 3.7爬虫开发的主力语言生态丰富。Requests用于发送HTTP请求。比标准库的urllib更简洁易用。BeautifulSoup4用于解析HTML和XML文档提取数据。语法友好适合快速开发。lxml另一个解析库解析速度比BeautifulSoup快支持XPath。可以两者结合使用用lxml作为BeautifulSoup的解析器提升速度。Pandas用于数据清洗和存储为CSV/Excel文件。非常方便。SQLite3(Python内置) /SQLAlchemy用于将数据存储到数据库。SQLite无需安装服务器适合单机项目。Fake-Useragent一个方便的库用于生成随机的、真实的User-Agent字符串。Schedule/APScheduler如果需要定时运行爬虫可以使用这些库进行任务调度。注意在开始前请确保你的行为符合链家网站的robots.txt协议通常查看https://bj.lianjia.com/robots.txt并尊重网站的服务压力。本教程旨在技术学习与交流抓取的数据请勿用于商业用途或对目标网站造成过大负荷。3. 核心细节解析与实操要点3.1 页面结构与数据定位分析链家的页面结构相对规整数据通常包裹在具有特定类名的div标签中。我们需要使用浏览器的开发者工具F12来“侦察”。以北京某二手房详情页为例打开一个房源详情页例如https://bj.lianjia.com/ershoufang/101123456789.html。按F12打开开发者工具使用“元素选择器”箭头图标点击页面上的房价、面积等信息。观察HTML结构。你会发现总价通常在类名为price .total的span里单价在类名为unitPriceValue的span里。房源基本信息面积、户型、楼层等通常在一个类名为base或introContent的div下的li标签列表中。交易信息产权、抵押等在另一个类似的div中。关键技巧寻找“数据指纹”有些关键信息如房源ID、经纬度可能会以JSON格式直接写在页面的script标签里。搜索window.pageData或resblock等关键词有时能直接拿到结构化的数据这比解析HTML更稳定。使用相对稳定的选择器优先选择带有>import requests from fake_useragent import UserAgent import time import random # 初始化一个UserAgent对象 ua UserAgent() def get_page(url): 发送请求获取页面内容 headers { User-Agent: ua.random, # 每次使用随机UA Referer: https://bj.lianjia.com/, # 设置来源页模拟从首页跳转 Accept-Language: zh-CN,zh;q0.9,en;q0.8, } # 可以在这里加入代理IP设置 # proxies { # http: http://your_proxy_ip:port, # https: https://your_proxy_ip:port, # } try: # 使用requests.get携带headers 如果需要代理则加上 proxiesproxies response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 如果状态码不是200抛出异常 # 检查页面是否被重定向到验证码或登录页 if captcha in response.url or 登录 in response.text: print(f触发反爬当前URL: {response.url}) return None return response.text except requests.RequestException as e: print(f请求失败: {url}, 错误: {e}) return None # 在遍历列表页或详情页的循环中务必加入延时 def crawl_list_page(page_num): url fhttps://bj.lianjia.com/ershoufang/pg{page_num}/ html get_page(url) if html: # 解析html... pass # 随机延时模拟人工操作 time.sleep(random.uniform(3, 8)) # 间隔3到8秒实操心得time.sleep的间隔时间设置是关键。对于列表页这种容易被监控的页面间隔最好在5秒以上。对于详情页可以稍微快一点但也要在2-3秒左右。过于规律的间隔如固定2秒也容易被识别为机器行为所以加入随机性random.uniform很重要。4. 爬虫核心环节实现详解4.1 列表页链接抓取与翻页逻辑链家列表页的URL有固定模式例如北京二手房的列表页https://bj.lianjia.com/ershoufang/pg2/其中pg2代表第2页。我们需要设计一个循环来遍历所有页面。但首先要知道总共有多少页。通常总页数信息会显示在列表页底部可以通过解析“页数”相关的元素获得。import re from bs4 import BeautifulSoup def get_total_pages(city_abbrbj, house_typeershoufang): 获取某个城市某类型房源的总页数 first_page_url fhttps://{city_abbr}.lianjia.com/{house_type}/pg1/ html get_page(first_page_url) if not html: return 0 soup BeautifulSoup(html, lxml) # 查找包含总页数的元素链家通常类名为 ‘page-box house-lst-page-box’ page_box soup.find(div, class_page-box house-lst-page-box) if page_box: # 该div的page-data属性是一个JSON字符串如 {totalPage:100,curPage:1} import json page_data json.loads(page_box.get(page-data, {})) total_pages page_data.get(totalPage, 1) return total_pages else: # 备用方案查找页码数字取最后一个 page_elements soup.select(.contentBottom .house-lst-page-box a) if page_elements: last_page_text page_elements[-2].text # 倒数第二个通常是“下一页”前的数字 try: return int(last_page_text) except: pass return 1 # 如果都没找到默认只有1页 def parse_list_page(html): 解析列表页提取房源ID和详情页链接 soup BeautifulSoup(html, lxml) house_list soup.find_all(li, class_clear LOGVIEWDATA LOGCLICKDATA) # 注意类名可能随时间变化需要根据实际情况调整 house_info_list [] for house in house_list: # 获取房源ID通常从链接或data-lj_action_resblock_id属性中获取 a_tag house.find(a, class_img) if a_tag and href in a_tag.attrs: href a_tag[href] # 从链接中提取ID例如 /ershoufang/101123456789.html house_id_match re.search(r/(\d)\.html, href) if house_id_match: house_id house_id_match.group(1) house_url fhttps://bj.lianjia.com{href} # 补全完整URL house_info_list.append({house_id: house_id, url: house_url}) return house_info_list4.2 详情页数据解析与字段提取这是爬虫最核心的部分需要仔细编写解析函数。def parse_detail_page(html, house_id): 解析详情页提取房源详细信息 soup BeautifulSoup(html, lxml) data {house_id: house_id} # 1. 解析标题和总价 title_elem soup.find(h1, class_main) data[title] title_elem.text.strip() if title_elem else total_price_elem soup.find(span, class_total) data[total_price] total_price_elem.text.strip() if total_price_elem else unit_price_elem soup.find(span, class_unitPriceValue) data[unit_price] unit_price_elem.text.strip() if unit_price_elem else # 2. 解析基本信息面积、户型、楼层等 base_info_div soup.find(div, class_base) if base_info_div: for li in base_info_div.find_all(li): text li.text if 房屋户型 in text: data[layout] text.split()[-1] elif 建筑面积 in text: data[area] text.split()[-1].replace(㎡, ).strip() elif 所在楼层 in text: data[floor] text.split()[-1] elif 户型结构 in text: data[structure] text.split()[-1] elif 建筑类型 in text: data[building_type] text.split()[-1] elif 房屋朝向 in text: data[orientation] text.split()[-1] # ... 可以继续添加其他字段 # 3. 解析交易信息 transaction_info_div soup.find(div, class_transaction) if transaction_info_div: for li in transaction_info_div.find_all(li): text li.text if 挂牌时间 in text: data[list_time] text.split()[-1] elif 交易权属 in text: data[transaction_ownership] text.split()[-1] elif 房屋用途 in text: data[house_usage] text.split()[-1] elif 房屋年限 in text: data[house_years] text.split()[-1] # ... 可以继续添加其他字段 # 4. 解析小区和位置信息 community_elem soup.find(div, class_communityName).find(a) if soup.find(div, class_communityName) else None data[community] community_elem.text.strip() if community_elem else area_elem soup.find(div, class_areaName).find_all(a) if soup.find(div, class_areaName) else [] if len(area_elem) 2: data[district] area_elem[0].text.strip() # 行政区如朝阳 data[bizcircle] area_elem[1].text.strip() # 板块如望京 # 5. 尝试从页面脚本中提取更结构化的数据如果存在 script_tags soup.find_all(script) for script in script_tags: if script.string and resblock in script.string: # 这里可以使用正则表达式或简单的字符串查找来提取JSON # 例如匹配 var resblock {...}; import json import re pattern rvar resblock ({.*?}); match re.search(pattern, script.string, re.DOTALL) if match: try: resblock_data json.loads(match.group(1)) # 从resblock_data中提取经纬度、建筑年代等 data[longitude] resblock_data.get(longitude) data[latitude] resblock_data.get(latitude) data[build_year] resblock_data.get(buildYear) except json.JSONDecodeError: pass return data4.3 数据存储方案CSV与SQLite方案一使用Pandas存储为CSV适合中小规模数据便于查看import pandas as pd from datetime import datetime def save_to_csv(data_list, filename_prefixlianjia): 将数据字典列表保存为CSV文件 if not data_list: print(无数据可保存) return df pd.DataFrame(data_list) # 生成带时间戳的文件名避免覆盖 timestamp datetime.now().strftime(%Y%m%d_%H%M%S) filename f{filename_prefix}_{timestamp}.csv df.to_csv(filename, indexFalse, encodingutf-8-sig) # utf-8-sig支持Excel直接打开不乱码 print(f数据已保存至 {filename})方案二使用SQLite存储适合数据量大需要复杂查询import sqlite3 def init_database(db_namelianjia_data.db): 初始化数据库和表结构 conn sqlite3.connect(db_name) cursor conn.cursor() cursor.execute( CREATE TABLE IF NOT EXISTS ershoufang ( id INTEGER PRIMARY KEY AUTOINCREMENT, house_id TEXT UNIQUE, title TEXT, total_price TEXT, unit_price TEXT, area REAL, layout TEXT, floor TEXT, orientation TEXT, district TEXT, bizcircle TEXT, community TEXT, build_year INTEGER, list_time TEXT, crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP ) ) conn.commit() conn.close() print(f数据库 {db_name} 初始化完成。) def save_to_sqlite(data_dict, db_namelianjia_data.db): 将单条数据字典插入SQLite数据库 conn sqlite3.connect(db_name) cursor conn.cursor() # 定义插入语句使用 INSERT OR IGNORE 避免重复基于house_id sql INSERT OR IGNORE INTO ershoufang (house_id, title, total_price, unit_price, area, layout, floor, orientation, district, bizcircle, community, build_year, list_time) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?) values ( data_dict.get(house_id), data_dict.get(title), data_dict.get(total_price), data_dict.get(unit_price), # 注意需要将字符串转换为合适的类型这里示例用float float(data_dict.get(area, 0)) if data_dict.get(area) and data_dict.get(area).replace(.,,1).isdigit() else 0.0, data_dict.get(layout), data_dict.get(floor), data_dict.get(orientation), data_dict.get(district), data_dict.get(bizcircle), data_dict.get(community), int(data_dict.get(build_year, 0)) if data_dict.get(build_year) and data_dict.get(build_year).isdigit() else 0, data_dict.get(list_time) ) try: cursor.execute(sql, values) conn.commit() except sqlite3.Error as e: print(f插入数据失败: {e}, 数据: {data_dict}) finally: conn.close()5. 完整流程串联与主函数设计现在我们把所有模块组合起来形成一个可以运行的主程序。import time import random def main(citybj, max_pages5): # 限制最大页数防止请求过多 主爬虫函数 print(f开始抓取 {city} 的二手房数据...) # 1. 初始化数据库如果使用SQLite init_database() # 2. 获取总页数或使用设定的最大页数 total_pages get_total_pages(city) pages_to_crawl min(total_pages, max_pages) if total_pages 0 else max_pages print(f计划抓取前 {pages_to_crawl} 页数据。) all_house_data [] # 用于存储所有数据如果使用CSV for page in range(1, pages_to_crawl 1): print(f正在抓取第 {page}/{pages_to_crawl} 页列表...) list_url fhttps://{city}.lianjia.com/ershoufang/pg{page}/ list_html get_page(list_url) if not list_html: print(f第 {page} 页列表获取失败跳过。) time.sleep(random.uniform(5, 10)) continue house_info_list parse_list_page(list_html) print(f第 {page} 页找到 {len(house_info_list)} 条房源链接。) for house_info in house_info_list: house_id house_info[house_id] detail_url house_info[url] print(f 正在抓取房源 {house_id} ...) detail_html get_page(detail_url) if not detail_html: print(f 房源 {house_id} 详情页获取失败跳过。) time.sleep(random.uniform(2, 4)) continue house_data parse_detail_page(detail_html, house_id) # 存储数据 # 方式一存入数据库 save_to_sqlite(house_data) # 方式二添加到列表最后存CSV # all_house_data.append(house_data) # 详情页请求间隔 time.sleep(random.uniform(2, 5)) # 列表页请求间隔 print(f第 {page} 页抓取完成等待片刻...) time.sleep(random.uniform(5, 10)) # 如果使用CSV在所有抓取完成后保存 # if all_house_data: # save_to_csv(all_house_data, flianjia_{city}) print(数据抓取任务全部完成) if __name__ __main__: # 可以在这里设置城市和最大抓取页数 main(citybj, max_pages3) # 示例抓取北京前3页数据6. 常见问题与排查技巧实录在实际运行中你几乎一定会遇到各种问题。下面是我踩过坑后总结的排查清单。问题现象可能原因排查与解决思路返回状态码403IP或请求头被识别为爬虫。1. 检查User-Agent是否设置且有效使用fake_useragent轮换。2. 检查Referer等请求头是否完备。3.最重要的大幅增加请求间隔时间time.sleep。4. 考虑使用代理IP。返回的HTML是验证码页面或登录页触发了链家的反爬验证。1. 立即停止当前IP的请求等待一段时间如半小时或更久。2. 检查Cookie是否需要更新。有时需要先访问一次首页获取新的Cookie。3. 模拟更真实的浏览器行为可以考虑使用Selenium但速度慢。解析不到数据find返回None页面结构发生变化或选择器写错了。1. 使用print(soup.prettify())或保存HTML到文件检查目标数据在最新页面中的实际HTML结构和类名。2. 使用更通用的选择器如find(‘span’, text‘房屋户型’)的父级或兄弟节点。3. 尝试使用XPathlxml库支持进行定位有时更灵活。数据抓取不全或错位页面存在多种相似结构或循环逻辑有误。1. 在解析函数中增加调试打印输出每一步提取到的内容。2. 确认循环遍历的是正确的父容器如house_list。3. 注意有些信息可能通过AJAX加载初始HTML中没有需要分析网络请求。数据库插入报错如数据类型不匹配Python提取的是字符串但数据库字段定义为数字类型。1. 在插入数据库前进行数据清洗和类型转换如int(),float()并做好异常处理try…except。2. 对于可能为空的字段在SQL语句中使用NULL或设置默认值。程序运行一段时间后突然停止或报错网络不稳定、对方服务器主动断开、或触发了某种频率限制。1. 在每个请求外包裹try…except捕获异常并记录日志然后继续下一个任务而不是让整个程序崩溃。2. 实现断点续爬功能。将已成功抓取的house_id记录到一个文件或数据库每次启动时读取跳过已抓取的房源。这是生产级爬虫的必备功能。独家避坑技巧“侦察”先行代码后行在写解析代码前至少手动打开3-5个不同房源、不同城市的详情页用开发者工具仔细观察HTML结构。你会发现不同房源、不同城市如北京和上海的页面结构可能有细微差别你的解析规则需要有足够的容错性。使用Session对象requests.Session()可以自动保持Cookie管理连接池比单次requests.get更高效、更模拟真实会话。日志是救星不要只用print。使用Python的logging模块将程序运行状态、抓取的URL、遇到的错误都记录到文件。当程序在半夜跑崩了日志文件能帮你快速定位问题。尊重robots.txt与法律再次强调控制抓取速度不要对目标网站造成负担。抓取的数据仅用于个人学习或分析不要大规模公开或用于商业牟利注意个人信息保护的相关规定。考虑使用更高级的框架如果项目非常复杂需要分布式、队列管理等可以考虑Scrapy框架。它提供了完整的爬虫工作流但学习曲线稍陡。对于链家这种单个站点的抓取requestsBeautifulSoup的组合更加轻量和灵活。这个基于Python的链家爬虫项目从设计到实现核心在于对目标网站的理解、对反爬策略的合理规避以及健壮的代码逻辑。它不仅仅是一段脚本更是一个完整的数据获取解决方案的雏形。你可以在此基础上增加多线程/异步IO来提高效率集成更复杂的代理池或者添加数据清洗和分析模块使其成为一个真正强大的数据管道。本文还有配套的精品资源点击获取
