一、Python爬虫基础回顾

1.1爬虫基本概念与工作原理
网络爬虫，也称为网络蜘蛛或网络机器人，是一种按照一定的规则，自动抓取万维网信息的程序或脚本。其工作原理类似于人类浏览网页:首先，向目标网站发送HTTP请求;接着，获取网站返回的HTML、XML等格式的响应内容;最后，从响应内容中解析并提取所需的数据。
以爬取新闻网站文章为例，爬虫会先模拟浏览器发送一个请求到新闻页面的URL，服务器收到请求后返回页面的HTML代码，爬虫再对这些代码进行解析，提取出文章标题、正文、发布时间等信息。
 

1.2常用的HTTP请求与解析方法
HTTP协议是爬虫与网站进行交互的基础，常用的请求方法有GET和POST。GET请求用于从服务器获取资源，请求参数会附加在URL后面;POST请求则常用于提交数据，参数包含在请求体中。在Python中，requests库是处理HTTP请求的得力助手。