失效链接处理 |
Python3网络爬虫开发实战 第2版_崔庆才 PDF 下载
下载地址:
版权归出版社和原作者所有,链接已删除,请购买正版
用户下载说明:
电子版仅供预览,下载后24小时内务必删除,支持正版,喜欢的请购买正版书籍:
http://product.dangdang.com/11028998019.html
相关截图: 资料简介: 本书介绍了如何利用Python3开发网络爬虫。本书为第2版,相比于第1版,为每个知识点的实战项目配备了针对性的练习平台,避免了案例过期的问题。另外,主要增加了异步爬虫、JavaScript逆向、App逆向、页面智能解析、深度学习识别验证码、Kubernetes运维及部署等知识点,同时也对各个爬虫知识点涉及的请求、存储、解析、测试等工具进行了丰富和更新。本书适合Python程序员阅读。 资料目录: 第1章爬虫基础1 1.1HTTP基本原理1 1.2Web网页基础12 1.3爬虫的基本原理19 1.4Session和Cookie21 1.5代理的基本原理24 1.6多线程和多进程的基本原理26 第2章基本库的使用29 2.1urllib的使用29 2.2requests的使用47 2.3正则表达式63 2.4httpx的使用73 2.5基础爬虫案例实战78 第3章网页数据的解析提取90 3.1XPath的使用90 3.2Beautiful Soup的使用99 3.3pyquery的使用113 3.4parsel的使用124 第4章数据的存储128 4.1TXT文本文件存储128 4.2JSON文件存储130 4.3CSV文件存储134 4.4MySQL存储138 4.5MongoDB文档存储144 4.6Redis缓存存储151 4.7Elasticsearch搜索引擎存储159 4.8RabbitMQ的使用166 第5章Ajax数据爬取174 5.1什么是Ajax174 5.2Ajax分析方法176 5.3Ajax分析与爬取实战179 第6章异步爬虫191 6.1协程的基本原理191 6.2aiohttp的使用201 6.3aiohttp异步爬取实战207 第7章JavaScript动态渲染页面爬取212 7.1Selenium的使用212 7.2Splash的使用226 7.3Pyppeteer的使用242 7.4Playwright的使用257 7.5Selenium爬取实战269 7.6Pyppeteer爬取实战276 7.7CSS位置偏移反爬案例分析与爬取实战282 7.8字体反爬案例分析与爬取实战287 第8章验证码的识别293 8.1使用OCR技术识别图形验证码293 8.2使用OpenCV识别滑动验证码的缺口298 8.3使用深度学习识别图形验证码304 8.4使用深度学习识别滑动验证码的缺口309 8.5使用打码平台识别验证码316 8.6手机验证码的自动化处理324 第9章代理的使用331 9.1代理的设置331 9.2代理池的维护340 9.3付费代理的使用351 9.4ADSL拨号代理的搭建方法357 9.5代理反爬案例爬取实战365 第10章模拟登录373 10.1模拟登录的基本原理373 10.2基于Session和Cookie的模拟登录爬取实战376 10.3基于JWT的模拟登录爬取实战381 10.4大规模账号池的搭建385 第11章JavaScript逆向爬虫397 11.1网站加密和混淆技术简介397 11.2浏览器调试常用技巧413 11.3JavaScript Hook的使用430 11.4无限debugger的原理与绕过440 11.5使用Python模拟执行JavaScript445 11.6使用Node.js模拟执行JavaScript451 11.7浏览器环境下JavaScript的模拟执行454 11.8AST技术简介460 11.9使用AST技术还原混淆代码472 11.10特殊混淆案例的还原480 11.11WebAssembly案例分析和爬取实战490 11.12JavaScript逆向技巧总结498 11.13JavaScript逆向爬取实战505 第12章App数据的爬取530 12.1Charles抓包工具的使用530 12.2mitmproxy抓包工具的使用538 12.3mitmdump实时抓包处理544 12.4Appium的使用551 12.5基于Appium的App爬取实战562 12.6Airtest的使用568 12.7基于Airtest的App爬取实战585 12.8手机群控爬取实战591 12.9云手机的使用594 第13章Android逆向603 13.1jadx的使用603 13.2JEB的使用615 13.3Xposed框架的使用624 13.4基于Xposed的爬取实战案例635 13.5Frida的使用643 13.6SSL Pining问题的解决方案650 13.7Android脱壳技术简介与实战657 13.8利用IDA Pro静态分析和动态调试so文件664 13.9基于Frida-RPC模拟执行so文件680 13.10基于AndServer-RPC模拟执行so文件685 13.11基于unidbg模拟执行so文件692 第14章页面智能解析700 14.1页面智能解析简介700 14.2详情页智能解析算法简介707 14.3详情页智能解析算法的实现714 14.4列表页智能解析算法简介722 14.5列表页智能解析算法的实现727 14.6如何智能分辨列表页和详情页735 第15章Scrapy框架的使用739 15.1Scrapy框架介绍739 15.2Scrapy入门743 15.3Selector的使用754 15.4Spider的使用759 15.5Downloader Middleware的使用766 15.6Spider Middleware的使用775 15.7Item Pipeline的使用781 15.8Extension的使用792 15.9Scrapy对接Selenium795 15.10Scrapy对接Splash801 15.11Scrapy对接Pyppeteer806 15.12Scrapy规则化爬虫813 15.13Scrapy实战827 第16章分布式爬虫840 16.1分布式爬虫理念840 16.2Scrapy-Redis原理和源码解析842 16.3基于Scrapy-Redis的分布式爬虫实现847 16.4基于Bloom Filter进行大规模去重851 16.5基于RabbitMQ的分布式爬虫859 第17章爬虫的管理和部署862 17.1Scrapyd和ScrapydAPI的使用862 17.2Scrapyd-Client的使用867 17.3Gerapy爬虫管理框架的使用869 17.4将Scrapy项目打包成Docker镜像873 17.5Docker Compose的使用878 17.6Kubernetes的使用880 17.7用Kubernetes部署和管理Scrapy爬虫888 17.8Scrapy分布式爬虫的数据统计方案899 17.9基于Prometheus和Grafana的分布式爬虫监控方案904 附录爬虫与法律917 |