在数字时代，图片是信息传递和分享的重要方式之一。如果你经常需要从网站上下载大量图片，那么手动下载将会是一项繁琐的任务。但是，不用担心！本教程将向你展示如何使用Python编写一个脚本来批量下载网站上的图片，让这项任务变得轻松而高效。
开篇故事
假设你是一名摄影爱好者，热衷于收集各种美丽的图片。你听说有一个网站，上面有数以千计的精美图片等待着你去探索。然而，手动一个一个下载这些图片将耗费你大量的时间和精力，于是你决定寻找一种更聪明的方式。
这时，Python走进了你的视野。你得知可以使用Python编写一个脚本，让它自动帮你下载这些图片。这听起来很酷，不是吗？那么，让我们开始吧！
步骤一：准备工作
首先，我们需要安装几个Python库，以便在脚本中使用它们。这些库包括requests、lxml和concurrent.futures。你可以使用以下命令来安装它们：
pip install requests lxml这些库将帮助我们进行网页请求、解析HTML以及并发下载图片。
步骤二：编写下载图片的函数
接下来，我们将编写一个函数，用于从指定的URL下载图片并保存到本地。这个函数将接受两个参数：图片的URL和保存路径。以下是这个函数的代码：
import requests
import os
def download_image(url, img_path):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
img_name = url.split('/')[-1]
with open(os.path.join(img_path, img_name), 'wb') as f:
f.write(response.content)
print(f'图片：{img_path}' + '/' + f'{img_name}下载完成！')这个函数首先发送HTTP请求以获取图片的内容，然后将内容保存到本地文件。在保存文件时，我们使用了图片的URL中的文件名作为文件名。
步骤三：编写处理网页的函数
现在，我们需要编写一个函数来处理网页，提取出图片的URL，并调用上面的download_image函数来下载图片。以下是这个函数的代码：
from lxml import etree
def process_page(page):
url = f'https://www.****.****/page/{page}'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
html = etree.HTML(response.content)
img_urls = html.xpath('//div[@class="excerpts"]/article/a/@href')
for img_url in img_urls:
response = requests.get(img_url, headers=headers)
html = etree.HTML(response.content)
img_elements = html.xpath('//article/p/img')
img_title = html.xpath('//title/text()')[0].split('-')[0]
img_path = f'J:/xiezhen/{img_title}'
if not os.path.exists(img_path):
os.makedirs(img_path)
for img_element in img_elements:
img_url = img_element.attrib['src']
download_image(img_url, img_path)
time.sleep(0.5)这个函数首先访问指定页面的URL，然后使用XPath解析HTML，提取出文章页面的链接。接着，它遍历每个文章页面的链接，进一步提取出图片的URL和标题。然后，它创建一个以标题命名的文件夹，将图片保存在其中。
步骤四：并发下载
为了提高下载速度，我们可以使用Python的concurrent.futures模块来实现并发下载。以下是如何使用该模块的代码：
import concurrent.futures
if __name__ == '__main__':
with concurrent.futures.ThreadPoolExecutor() as executor:
futures = []
for page in range(1, 573):
futures.append(executor.submit(process_page, page))
for future in concurrent.futures.as_completed(futures):
pass这段代码会创建一个线程池，每个线程将处理一个页面的下载任务。我们遍历了从1到572的页面，并将每个页面的处理函数process_page提交给线程池。最后，我们等待所有任务完成。
结语
通过这个简单的Python脚本，你可以轻松实现批量下载网站图片的任务。不再需要手动一个一个下载，节省了大量时间和精力。这是Python的强大之处，它可以帮助你自动化各种任务，让生活更加便捷。
微信扫一扫 
