Skip to content

About

Python 爬虫从入门到实战 | urllib、lxml、XPath 学习项目合集 Learning web scraping with Python - urllib, lxml, XPath tutorials

Resources

Stars

0 stars

Watchers

0 watching

Forks

Repository files navigation

Python 爬虫学习项目

本项目是按照知识点分类整理的 Python 爬虫学习代码。

目录结构

爬虫代码/
├── 01-urllib基础/          # urllib 模块基础用法
│   ├── 1-爬虫-urlib.py                    # 获取百度首页源码
│   ├── 2-爬虫-urllib一个类型六个方法.py    # HTTPResponse 类型和六个常用方法
│   └── 3-爬虫-urllib下载.py                # 使用 urlretrieve 下载文件和图片
│
├── 02-urllib进阶/           # urllib 模块进阶用法
│   ├── 4 爬虫-urllib请求对象的定制.py       # 添加请求头模拟浏览器
│   ├── 5-爬虫-urllib-get请求的quote方法.py # URL 编码之 quote方法
│   ├── 6-爬虫-urllib-get请求的urlencode方法.py # URL 编码之 urlencode方法
│   ├── 7-爬虫-urlllib-post请求百度翻译.py  # POST 请求实现百度翻译
│   └── 8-爬虫-urllib-post请求百度翻译之详细翻译.py # POST 请求详细翻译
│
├── 03-ajax请求/            # AJAX 请求处理
│   ├── 9-爬虫学习-urllib-ajax的get请求豆瓣电影第一页.py    # 爬取豆瓣电影第一页
│   └── 10-爬虫学习-urllib-ajax的get请求豆瓣电影前10页.py   # 爬取豆瓣电影前 10 页
│
├── 04-异常处理/             # 网络请求异常处理
│   └── 11-爬虫学习-urllib-异常.py         # HTTPError 和 URLError 处理
│
├── 05-handler处理器/        # handler 和 opener 使用
│   └── 12-爬虫学习-urllib-handler处理器的基本使用.py # HTTPHandler 基本使用
│
├── 06-xpath解析/            # XPath 网页解析
│   ├── 13-爬虫学习 - 解析-xpath的基本使用.html      # XPath 测试 HTML 文件
│   ├── 13-爬虫学习 - 解析-xpath的基本使用.py        # XPath 基本语法示例
│   ├── 14-爬虫学习 - 解析 - 获取百度网站的百度一下.py # 获取百度搜索按钮文本
│   └── 15-爬虫 - 解析 - 站长素材.py              # 批量下载图片实战
│
└── Img/                     # 下载的图片存储目录(仅保留示例图片)
    └── README.md

运行环境

  • Python 3.x
  • 依赖库:lxml, urllib

安装依赖

pip install lxml

使用说明

  1. 每个 py 文件都是独立的可运行脚本
  2. 按照 01-06 的顺序学习,从基础到进阶
  3. 部分代码可能需要根据实际网站更新请求头和数据格式

注意事项

  • 本项目仅用于学习目的
  • 请遵守目标网站的 robots.txt 协议
  • 不要频繁请求,避免对服务器造成压力
  • 部分 API 可能会随时间变化而失效

Git 说明

已配置 .gitignore 文件,以下文件不会被上传:

  • 临时测试文件(baidu.html, image.jpg 等)
  • 测试数据(movie.json 等)
  • 缓存文件和 IDE 配置文件

About

Python 爬虫从入门到实战 | urllib、lxml、XPath 学习项目合集 Learning web scraping with Python - urllib, lxml, XPath tutorials

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages