本项目是按照知识点分类整理的 Python 爬虫学习代码。
爬虫代码/
├── 01-urllib基础/ # urllib 模块基础用法
│ ├── 1-爬虫-urlib.py # 获取百度首页源码
│ ├── 2-爬虫-urllib一个类型六个方法.py # HTTPResponse 类型和六个常用方法
│ └── 3-爬虫-urllib下载.py # 使用 urlretrieve 下载文件和图片
│
├── 02-urllib进阶/ # urllib 模块进阶用法
│ ├── 4 爬虫-urllib请求对象的定制.py # 添加请求头模拟浏览器
│ ├── 5-爬虫-urllib-get请求的quote方法.py # URL 编码之 quote方法
│ ├── 6-爬虫-urllib-get请求的urlencode方法.py # URL 编码之 urlencode方法
│ ├── 7-爬虫-urlllib-post请求百度翻译.py # POST 请求实现百度翻译
│ └── 8-爬虫-urllib-post请求百度翻译之详细翻译.py # POST 请求详细翻译
│
├── 03-ajax请求/ # AJAX 请求处理
│ ├── 9-爬虫学习-urllib-ajax的get请求豆瓣电影第一页.py # 爬取豆瓣电影第一页
│ └── 10-爬虫学习-urllib-ajax的get请求豆瓣电影前10页.py # 爬取豆瓣电影前 10 页
│
├── 04-异常处理/ # 网络请求异常处理
│ └── 11-爬虫学习-urllib-异常.py # HTTPError 和 URLError 处理
│
├── 05-handler处理器/ # handler 和 opener 使用
│ └── 12-爬虫学习-urllib-handler处理器的基本使用.py # HTTPHandler 基本使用
│
├── 06-xpath解析/ # XPath 网页解析
│ ├── 13-爬虫学习 - 解析-xpath的基本使用.html # XPath 测试 HTML 文件
│ ├── 13-爬虫学习 - 解析-xpath的基本使用.py # XPath 基本语法示例
│ ├── 14-爬虫学习 - 解析 - 获取百度网站的百度一下.py # 获取百度搜索按钮文本
│ └── 15-爬虫 - 解析 - 站长素材.py # 批量下载图片实战
│
└── Img/ # 下载的图片存储目录(仅保留示例图片)
└── README.md
- Python 3.x
- 依赖库:lxml, urllib
pip install lxml- 每个 py 文件都是独立的可运行脚本
- 按照 01-06 的顺序学习,从基础到进阶
- 部分代码可能需要根据实际网站更新请求头和数据格式
- 本项目仅用于学习目的
- 请遵守目标网站的 robots.txt 协议
- 不要频繁请求,避免对服务器造成压力
- 部分 API 可能会随时间变化而失效
已配置 .gitignore 文件,以下文件不会被上传:
- 临时测试文件(baidu.html, image.jpg 等)
- 测试数据(movie.json 等)
- 缓存文件和 IDE 配置文件