在今天的数字时代，数据是一种宝贵的资源。对于电影爱好者和数据分析师来说，豆瓣电影Top250是一个有趣的数据源，可以用于各种目的，如了解热门电影、分析评分趋势、或者简单地为电影夜晚挑选电影。本教程将介绍如何使用Python编程，爬取豆瓣电影Top250的数据，并将数据保存为CSV文件。这个教程将向您展示如何发送HTTP请求、解析网页内容以及保存数据，是一个实际的网络爬虫示例。
准备工作
在开始之前，您需要确保已经安装了以下Python库：
- Requests：用于发送HTTP请求和获取网页内容。
- Parsel：用于解析HTML和XPath选择器。
您可以使用以下命令来安装这些库：
pip install requests parsel发送HTTP请求
首先，我们需要发送HTTP请求到豆瓣电影Top250的网页。我们将使用Python的Requests库来发送GET请求，并模拟浏览器的User-Agent以防止被网站屏蔽。以下是发送HTTP请求的代码示例：
import requests
# 定义请求头
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36'
}
# 发送GET请求
url = 'https://movie.douban.com/top250'
response = requests.get(url, headers=headers)在上述代码中，我们定义了一个请求头，模拟了浏览器的User-Agent，并使用Requests库发送了GET请求。得到的response对象包含了网页的内容。
解析网页内容
接下来，我们需要解析网页的内容，提取我们需要的信息。我们将使用Parsel库来解析HTML和XPath选择器。以下是解析网页内容的代码示例：
import parsel
# 创建一个Selector对象
selector = parsel.Selector(response.text)
# 使用XPath选择器提取信息
titles = selector.xpath('//*[@class="info"]/div[@class="hd"]/a/span[1]/text()').getall()
intros = selector.xpath('//*[@class="info"]/div[@class="bd"]/p[@class="quote"]/span/text()').getall()
ratings = selector.xpath('//*[@class="info"]/div[@class="bd"]/div/span[@class="rating_num"]/text()').getall()在上述代码中，我们首先创建了一个Selector对象，然后使用XPath选择器提取了电影的标题、简介和评分信息。这些信息将用于创建CSV文件。
创建CSV文件
现在，我们将提取的电影信息保存为CSV文件。我们使用Python的CSV库来创建和写入CSV文件。以下是创建CSV文件的代码示例：
import csv
# 打开CSV文件并写入标题行
with open("豆瓣top250.csv", mode="w", encoding="utf_8_sig", newline='') as f:
csv_writer = csv.writer(f)
csv_writer.writerow(['片名', '简介', '评分'])
# 将电影信息写入CSV文件
with open("豆瓣top250.csv", mode="a", encoding="utf-8_sig", newline='') as f:
csv_writer = csv.writer(f)
for i in range(len(titles)):
csv_writer.writerow([titles[i], intros[i], ratings[i]])在上述代码中，我们首先打开CSV文件并写入标题行，然后使用循环将电影信息逐行写入CSV文件。
运行脚本
最后，您可以运行这个Python脚本来爬取豆瓣电影Top250的数据并保存为CSV文件。确保您已经安装了必要的库，并且能够成功发送HTTP请求并解析网页内容。
if __name__ == '__main__':
# 发送HTTP请求、解析网页内容和保存CSV文件的代码结论
通过本教程，您学会了如何使用Python编程，爬取豆瓣电影Top250的数据并保存为CSV文件。这是一个实际的网络爬虫示例，可以帮助您了解如何发送HTTP请求、解析网页内容以及保存数据。希望这个教程对您有所帮助，让您能够更好地处理和分析网络数据。
请注意：在进行网络爬取时，请遵守网站的使用规则和法律法规，不要对网站造成不必要的负担或侵犯他人的权益。
微信扫一扫 
