编程的奇妙之旅:Python多线程爬虫下载PDF教材

有一天,当我坐在电脑前,思考着编程的奇妙之处时,一种冒险的感觉涌上心头。我想,为什么不用编程来探索互联网的深处,下载一些有趣的教材呢?于是,我开始了这次奇妙的编程之旅,带着好奇心和激情,我将向你展示如何使用Python编写一个多线程爬虫,用于下载各种教材的PDF文件。

准备工作

在我们踏上这次冒险之前,我们需要做一些准备工作。

初始化日志

首先,我们需要设置日志记录,以便随时跟踪我们的编程冒险。

import logging

def init_logging():
    logging_format = '%(asctime)s\t[%(levelname)s]\t[%(name)s]\t[%(threadName)s]\t%(message)s'
    logging.basicConfig(format=logging_format, level=logging.INFO)

导入必要的库

为了让我们的编程冒险变得更加容易,我们需要使用requests库来进行网络请求和数据下载。如果你还没有安装这个库,请使用以下命令来安装它:

pip install requests

设置下载目录和线程数量

这两个变量将在后面的代码中使用,你可以根据需要进行调整。

download_base_dir = 'd:/book3'  # 设置下载文件保存的文件夹
thread_count = 8  # 设置线程数量

开始编写爬虫

请求数据版本

首先,我们需要获取教材数据的版本信息,这将有助于我们确定要下载的文件。

def request_data_version() -> [str]:
    # 目标URL
    data_url = "https://s-file-1.ykt.cbern.com.cn/zxx/ndrs/resources/tch_material/version/data_version.json"
    try:
        logging.info("开始请求URL: %s", data_url)
        response = requests.get(data_url)
        logging.info("状态码 %s, 响应内容: %s", response.status_code, response.text)
        if response.status_code == 200:
            data = response.json()
            return data["urls"].split(",")
        else:
            logging.warning("无法获得正确的响应,程序退出 -1。")
            sys.exit(-1)
    except requests.exceptions.RequestException as e:
        logging.exception("请求数据版本失败", e)

请求单个数据URL

接下来,我们将请求每个教材的数据URL,并解析教材信息。

def request_single_data_url(data_url: str) -> [dict]:
    try:
        logging.info("开始请求URL: %s", data_url)
        response = requests.get(data_url)
        logging.info("状态码 %s", response.status_code)
        if response.status_code == 200:
            data = response.json()
            books = []
            for d in data:
                book_data = parse_book_data(d)
                if len(book_data) != 0:
                    books.append(book_data)
                else:
                    logging.warning("跳过此教材: %s", d['title'])
            return books
    except requests.exceptions.RequestException as e:
        logging.exception("请求单个数据URL失败", e)

解析教材数据

我们将解析每本教材的数据,包括教材名称和标签。

def parse_book_data(data: dict) -> dict:
    book_id = data['id']
    book_name = data['title']
    book_tags = data['tag_list']
    book_tags = sorted(book_tags, key=custom_sort_tag_list, reverse=True)
    if '版' not in (book_tags[0]['tag_name']):
        return {}
    return {"id": book_id, "name": book_name, "dirs": get_dirs_from_tags(book_tags)}

获取目录信息

我们将从标签中提取目录信息,以便稍后创建文件夹。

def get_dirs_from_tags(book_tags) -> str:
    return f"{book_tags[0]['tag_name']}/{book_tags[1]['tag_name']}/{book_tags[2]['tag_name']}"

自定义标签排序

为了确保我们获取的是正确的教材版本,我们需要自定义排序标签。

def custom_sort_tag_list(tag):
    tag_name = tag['tag_name']
    school_level, edition, grade, semester, course_name = '', '', '', '', ''
    if "版" in tag_name:
        edition = tag_name
    elif "年级" in tag_name:
        grade = tag_name
    elif "册" in tag_name:
        semester = tag_name
    elif '小学' in tag_name or '初中' in tag_name or '高中' in tag_name:
        school_level = tag_name
    elif '教材' not in tag_name:
        course_name = tag_name

    return edition, school_level, grade, course_name, semester

下载教材

最后,我们将下载每本教材的PDF文件。

def download_book(book):
    file_dir = f"{download_base_dir}/{book['dirs']}"
    file_name = f"{book['name']}.pdf"
    file_full_path = os.path.join(file_dir, file_name)
    logging.info("开始下载教材: %s/%s", file_dir, file_name)
    try:
        if not os.path.exists(file_dir):
            os.makedirs(file_dir)
    except FileExistsError:
        logging.warning("文件夹 %s 已经存在", file_dir)

    download_url = f"https://r1-ndr.ykt.cbern.com.cn/edu_product/esp/assets_document/{book['id']}.pkg/pdf.pdf"
    response = requests.get(download_url)
    if response.status_code == 200:
        with open(os.path.join(file_dir, file_name), "wb") as file:
            file.write(response.content)
            logging.info("教材下载成功: %s", file_full_path)
    else:
        logging.warning("教材下载失败,状态码: %s", response.status_code)

多线程下载

我们将使用多线程来提高下载速度。

def multi_thread_download

_books(shared_queue: queue.Queue):
    try:
        while True:
            item = shared_queue.get_nowait()
            download_book(item)
            shared_queue.task_done()
    except queue.Empty:
        logging.warning("队列为空")

请求所有教材

最后,我们将请求所有教材的信息并将其添加到共享队列中。

def request_all_books_to_shared_queue():
    shared_queue = queue.Queue(maxsize=3000)
    urls = request_data_version()
    for url in urls:
        books = request_single_data_url(url)
        for book in books:
            shared_queue.put(book)
    return shared_queue

执行下载

现在,我们已准备好执行下载任务。

if __name__ == '__main__':
    init_logging()

    # 下载文件保存的文件夹
    download_base_dir = 'd:/book3'
    # 线程数量
    thread_count = 8

    all_books_queue = request_all_books_to_shared_queue()
    with concurrent.futures.ThreadPoolExecutor(max_workers=thread_count) as executor:
        futures = [executor.submit(multi_thread_download_books, all_books_queue) for i in range(thread_count)]
        concurrent.futures.wait(futures)

    logging.info("完成下载!!!")

结束语

通过这个教程,你已经学会了如何使用Python编写一个多线程爬虫,用于下载各种教材的PDF文件。这个项目不仅展示了编程的实际应用,还提供了深入探索网络资源的机会。希望你能充分利用这些技能,探索更多有趣的项目和挑战!

本文由作者 王大神 原创发布于 大神网的AI博客。

转载请注明作者:王大神

原文出处:编程的奇妙之旅:Python多线程爬虫下载PDF教材

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 2023年10月4日
下一篇 2023年10月4日

相关推荐

  • 盘点AIGC工具

    人工智能技术正在迅速崛起,改变了我们生活的方方面面。在创意领域,一种新的工具正逐渐崭露头角,那就是AIGC(Artificial Intelligence Generated Content)工具,它们利用人工智能技术生成文字、图片、视频、编程…

    2023年4月6日
    0046
  • 超越Python性能极限:创建C++扩展模块

    你是否曾想过如何提高Python代码的性能?或者你是否在处理大规模数据时感到Python的速度有些慢?如果是的话,那么你来对地方了!在本篇文章中,我将带你走进C++的魔幻世界,教你如何创建C++扩展模块,以实现超越Pyt…

    2023年9月19日
    0042
  • 编程与AI:时代的交汇

    在今天的教程中,我们将探讨一个备受瞩目的话题:人工智能(AI)如何与编程和操作系统相互交织,以及未来可能的走向。这个话题引发了广泛的讨论和思考,无论你是一位程序员、一名科技爱好者还是普通用户,都值得关…

    2023年10月5日
    0057
  • LeetCode 算法汇总—链表

    开篇故事: 从小学开始,数学就伴随着我们的成长。而如今,在计算机科学领域,算法就如同数学一样重要。这就像我们每天面对的一道谜题,需要巧妙的思考和解决。在这篇文章中,我将向你展示算法中一个重要而又有趣的…

    2023年10月10日
    0058
  • 在排序数组中查找元素的首尾位置:详细教程与实用技巧

    在程序设计的世界里,数据结构和算法是构建高效、优雅解决方案的基石。想象一下,你有一个已排序的数字数组和一个目标值,你的任务是在这个数组中找到该目标值的起始和结束位置。这看起来简单,但实际上,它蕴含了…

    2023年11月25日
    0032
  • 如何使用Stable Diffusion WebUI的API生成图像

    你是否曾想过如何利用Stable Diffusion WebUI的API来生成图像?在本教程中,我们将向你展示如何使用这个功能,以及如何在生成的图像中添加元数据。让我们开始吧! 故事开端 一天,你突然产生了一个创意,想要创建一…

    2023年9月13日
    00248
  • 记录一次中药数据库的捣鼓

    记录一次中药数据库的捣鼓 导语 在信息化、大数据的今天,手工操作逐渐显得笨拙和低效。今天,我要分享一个用Python自动获取和整理中药数据库的实践过程,以示如何通过编程实现工作自动化。 找寻数据源:机遇与挑战…

    2023年9月3日
    0070
  • 如何高效地将Jupyter笔记本转换为Markdown文件:一个Python教程

    记得那个周末,我参加了一个hackathon。团队里有个小伙伴突然意识到,他想把所有Jupyter笔记本快速地转换成Markdown文件,以便在GitHub上展示或者写博客。但问题是,他对Python不熟,更别说操作nbconvert库了。就在…

    2023年9月24日
    00108
  • Python HTTP 请求的 SSL 与代理问题:一次全面的解读

    在日常开发中,HTTP 请求作为信息交互的基础,其稳定性和正确性至关重要。然而,当李华试图用 Python 发送一个 HTTP 请求时,他遇到了一个棘手的问题:经常出现的 SSL 错误和超时问题。作为一个热衷于开发的工程师…

    2023年10月9日
    00113
  • 本地化Markdown文件中的图片:Python助力批量操作

    在互联网时代,Markdown已经成为写作、博客、文档等多个领域的标配。它简单、高效,但有时我们会遇到一个问题:插入的图片都是网络链接,一旦这些链接失效,文章中的图片就会消失。有没有方法可以快速地将这些在线…

    2023年10月8日
    00129

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注