VIP会员
内容简介
本书介绍了如何利用Python 3开发网络爬虫。本书为第2版，相比于第1版，为每个知识点的实战项目配备了针对的练台，避免了案例过期的问题。另外，主要增加了异步爬虫、Javascript逆向、App逆向、页面智能解析、深度学验证码、Kuberes运维及部署等知识点，同时也对各个爬虫知识点涉及的请求、存储、解析、测试等工行了丰富和更新。 本书适合Python程序员阅读。
目录
第1章 爬虫基础 1.1 基本原理 1.2 Web网页基础 1.3 爬虫的基本原理 1.4 Session和cookie 1.5 代理的基本原理 1.6 多线程和程的基本原理第2章 基本库的使用 2.1 urllib的使用 2.2 requests的使用 2.3 正则表达式 2.4 x的使用 2.5 基础爬虫案例实战第3章 网页数据的解析提取 3.1 XPath的使用 3.2 Beautiful Soup的使用 3.3 pyquery的使用 3.4 parsel的使用第4章 数据的存储 4.1 TXT文本文件存储 4.2 JSON文件存储 4.3 CSV文件存储 4.4 MySQL存储 4.5 MongoDB文档存储 4.6 Redis缓存存储 4.7 Elasticsearch搜索引擎存储 4.8 RabbitMQ的使用第5章 Ajax数据爬取 5.1 什么是Ajax 5.2 Ajax分析方法 5.3 Ajax分析与爬取实战第6章 异步爬虫 6.1 协程的基本原理 6.2 aio的使用 6.3 aio异步爬取实战第7章 Javascript动态渲染页面爬取 7.1 Selenium的使用 7.2 Splash的使用 7.3 Pyppeteer的使用 7.4 Playwright的使用 7.5 Selenium爬取实战 7.6 Pyppeteer爬取实战 7.7 CSS位置偏移反爬案例分析与爬取实战 7.8 字体反爬案例分析与爬取实战第8章 验证码的识别 8.1 使用OCR技术识别图形验证码 8.2 使用OpenCV识别滑动验证码的缺口 8.3 使用深度学图形验证码 8.4 使用深度学滑动验证码的缺口 8.5 使用打台识别验证码 8.6 手机验证码的自动化处理第9章 代理的使用 9.1 代理的设置 9.2 代理池的维护 9.3 付费代理的使用 9.4 ADSL拨号代理的搭建方法 9.5 代理反爬案例爬取实战第10章 模拟登录 10.1 模拟登录的基本原理 10.2 基于Session和cookie的模拟登录爬取实战 10.3 基于JWT的模拟登录爬取实战 10.4 大规模账号池的搭建第11章 Javascript逆向爬虫 11.1 网站加密和混淆技术简介 11.2 浏览器调技巧 11.3 Javascript Hook的使用 11.4 无限debugger的原理与绕过 11.5 使用Python模拟执行Javascript 11.6 使用Node.js模拟执行Javascript 11.7 浏览器环境下Javascript的模拟执行 11.8 AST技术简介 11.9 使用AST技术还原混淆代码 11.10 特殊混淆案例的还原 11.11 WebAsly案例分析和爬取实战 11.12 Javascript逆向技结 11.13 Javascript逆向爬取实战第12章 App数据的爬取 12.1 Charles工具的使用 12.2 mitmproxy工具的使用 12.3 mitmdump实时处理 12.4 Appium的使用 12.5 基于Appium的App爬取实战 12.6 Airtest的使用 12.7 基于Airtest的App爬取实战 12.8 手机群控爬取实战 12.9 云手机的使用第13章 Android逆向 13.1 jadx的使用 13.2 JEB的使用 13.3 Xposed框架的使用 13.4 基于Xposed的爬取实战案例 13.5 Frida的使用 13.6 SSL Pining问题的解决方案 13.7 Android脱壳技术简介与实战 13.8 利用IDA Pro静态分析和动态调试so文件 13.9 基于Frida-RPC模拟执行so文件 13.10 基于AndServer-RPC模拟执行so文件 13.11 基于unidbg模拟执行so文件第14章 页面智能解析 14.1 页面智能解析简介 14.2 详情页智能解析算法简介 14.3 详情页智能解析算法的实现 14.4 列表页智能解析算法简介 14.5 列表页智能解析算法的实现 14.6 如何智能分辨列表页和详情页第15章 Scrapy框架的使用 15.1 Scrapy框架介绍 15.2 Scrapy入门 15.3 Selector的使用 15.4 Spider的使用 15.5 Downloader Mleware的使用 15.6 Spider Mleware的使用 15.7 Item Pipeline的使用 15.8 Extension的使用 15.9 Scrapy对接Selenium 15.10 Scrapy对接Splar/> 15.11 Scrapy对接Pyppeteer 15.12 Scrapy规则化爬虫 15.13 Scrapy实战第16章 分布式爬虫 16.1 分布式爬虫理念 16.2 Scrapy-Redis原理和源码解析 16.3 基于Scrapy-Redis的分布式爬虫实现 16.4 基于Bloom Filte行大规模去重 16.5 基于RabbitMQ的分布式爬虫第17章 爬虫的管理和部署 17.1 Scrapyd和ScrapydAPI的使用 17.2 Scrapyd-Client的使用 17.3 Gerapy爬虫管理框架的使用 17.4 将Scrapy项目成Docker镜像 17.5 Docker Compose的使用 17.6 Kuberes的使用 17.7 用Kuberes部署和管理Scrapy爬虫 17.8 Scrapy分布式爬虫的数据统计方案 17.9 基于Prometheus和Grafana的分布式爬虫监控方案附录 爬虫与法律