如何使用Python批量下载网站图片

在数字时代,图片是信息传递和分享的重要方式之一。如果你经常需要从网站上下载大量图片,那么手动下载将会是一项繁琐的任务。但是,不用担心!本教程将向你展示如何使用Python编写一个脚本来批量下载网站上的图片,让这项任务变得轻松而高效。

开篇故事

假设你是一名摄影爱好者,热衷于收集各种美丽的图片。你听说有一个网站,上面有数以千计的精美图片等待着你去探索。然而,手动一个一个下载这些图片将耗费你大量的时间和精力,于是你决定寻找一种更聪明的方式。

这时,Python走进了你的视野。你得知可以使用Python编写一个脚本,让它自动帮你下载这些图片。这听起来很酷,不是吗?那么,让我们开始吧!

步骤一:准备工作

首先,我们需要安装几个Python库,以便在脚本中使用它们。这些库包括requests、lxml和concurrent.futures。你可以使用以下命令来安装它们:

pip install requests lxml

这些库将帮助我们进行网页请求、解析HTML以及并发下载图片。

步骤二:编写下载图片的函数

接下来,我们将编写一个函数,用于从指定的URL下载图片并保存到本地。这个函数将接受两个参数:图片的URL和保存路径。以下是这个函数的代码:

import requests
import os

def download_image(url, img_path):
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    img_name = url.split('/')[-1]
    with open(os.path.join(img_path, img_name), 'wb') as f:
        f.write(response.content)
        print(f'图片:{img_path}' + '/' + f'{img_name}下载完成!')

这个函数首先发送HTTP请求以获取图片的内容,然后将内容保存到本地文件。在保存文件时,我们使用了图片的URL中的文件名作为文件名。

步骤三:编写处理网页的函数

现在,我们需要编写一个函数来处理网页,提取出图片的URL,并调用上面的download_image函数来下载图片。以下是这个函数的代码:

from lxml import etree

def process_page(page):
    url = f'https://www.****.****/page/{page}'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
    response = requests.get(url, headers=headers)
    html = etree.HTML(response.content)
    img_urls = html.xpath('//div[@class="excerpts"]/article/a/@href')

    for img_url in img_urls:
        response = requests.get(img_url, headers=headers)
        html = etree.HTML(response.content)
        img_elements = html.xpath('//article/p/img')
        img_title = html.xpath('//title/text()')[0].split('-')[0]
        img_path = f'J:/xiezhen/{img_title}'

        if not os.path.exists(img_path):
            os.makedirs(img_path)

        for img_element in img_elements:
            img_url = img_element.attrib['src']
            download_image(img_url, img_path)

        time.sleep(0.5)

这个函数首先访问指定页面的URL,然后使用XPath解析HTML,提取出文章页面的链接。接着,它遍历每个文章页面的链接,进一步提取出图片的URL和标题。然后,它创建一个以标题命名的文件夹,将图片保存在其中。

步骤四:并发下载

为了提高下载速度,我们可以使用Python的concurrent.futures模块来实现并发下载。以下是如何使用该模块的代码:

import concurrent.futures

if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor() as executor:
        futures = []
        for page in range(1, 573):
            futures.append(executor.submit(process_page, page))
        for future in concurrent.futures.as_completed(futures):
            pass

这段代码会创建一个线程池,每个线程将处理一个页面的下载任务。我们遍历了从1到572的页面,并将每个页面的处理函数process_page提交给线程池。最后,我们等待所有任务完成。

结语

通过这个简单的Python脚本,你可以轻松实现批量下载网站图片的任务。不再需要手动一个一个下载,节省了大量时间和精力。这是Python的强大之处,它可以帮助你自动化各种任务,让生活更加便捷。

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:如何使用Python批量下载网站图片

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年10月19日
下一篇 2023年10月19日

相关推荐

  • 简化NumPy数组运算:摆脱for循环

    NumPy 是 Python 中用于科学计算的核心库之一,它提供了强大的数组操作和数学函数,能够高效地处理大规模数据。然而,在进行数组运算时,使用for循环可能会降低代码效率。本教程将介绍如何利用NumPy的向量化操作,…

    2024年3月17日
    00
  • Python编程入门教程:学费、学习方法与资源

    你是否曾经想过,学一门编程语言,像学习Python一样,可以让你在科技领域大展拳脚,或者在日常工作中提高效率?或者你可能听说过Python,但不确定从何开始,以及学习Python编程会花费多少钱?在这篇文章中,我们将…

    2023年10月20日
    00
  • 图像处理技巧:实现图像渲染的深入解析

    在数字图像处理的世界里,图像渲染是一个基础且极富挑战性的任务。它不仅涉及到图像的基本操作,还考验了我们对数据结构和算法的理解。想象一下,你在一款绘图软件中点击一点,然后软件自动将与这个点颜色相同的所…

    2023年11月25日
    00
  • 如何将CSV文件转换为Excel格式:简单教程

    在日常工作中,我们经常需要处理各种数据文件,其中CSV(逗号分隔值)文件是常见的一种格式。CSV文件具有简单的结构,但有时我们需要将其转换为更易于管理和共享的格式,比如Excel。今天,我将向您展示如何将CSV文…

    2023年9月24日
    00
  • 教程:将银行账单转换为Beancount格式

    在日常生活中,我们经常需要处理各种银行账单,包括信用卡账单、储蓄账户账单等。而Beancount是一种强大的财务记账工具,可以帮助我们有效地管理和跟踪财务交易。本教程将向您展示如何将不同银行的账单转换为Beanco…

    2023年11月25日
    00
  • 制作二维码识别器专业版教程

    二维码(QR码)是一种广泛应用于现代生活的编码方式,它可以存储各种信息,如网址、文本、联系信息等。在某些情况下,您可能需要一个功能强大的二维码识别器,以便捕获、识别和处理这些二维码。本教程将介绍如何创…

    2023年11月27日
    00
  • 如何使用Python获取知乎热榜和推荐内容

    有没有想过如何获取知乎上的热门话题和推荐内容?知乎是一个汇聚了各种各样有趣问题和高质量回答的社交平台,获取其中的热门内容对于信息追踪和知识获取都非常有帮助。在这篇教程中,我们将使用Python来获取知乎的…

    2023年10月19日
    00
  • 如何用python获取地区天气预报

    在今天的快节奏生活中,了解当地的天气情况变得越来越重要。无论是为了合理安排出行,还是为了确保衣物的选择,天气预报都是我们生活中不可或缺的一部分。然而,你是否知道,通过编程和一些简单的步骤,你可以轻松…

    2023年9月25日
    00
  • Python编程实战:构建虚拟货币量化交易策略

    虚拟货币市场的快速发展吸引了众多投资者,但也伴随着激烈的竞争和高度波动的市场。在这篇教程中,我们将带您进入虚拟货币量化交易的世界,利用Python编程和ccxt库构建一个实际的交易策略。通过这个实战项目,您将…

    2023年12月18日
    00
  • 打造强大的红色警戒2 AI玩家:Python训练教程

    在这个激动人心的教程中,你将学会如何使用Python来训练一个强大的人工智能(AI)玩家,使其能够在《红色警戒2》(Red Alert 2)这款经典游戏中与你一较高下。不再面对单调的游戏模式,让我们来创建一个智能的对手…

    2023年9月9日
    00