为什么你需要了解如何抓取和下载M3U8视频？一步一步教你！

在这篇文章中，我们将一步一步地讲解如何抓取和下载M3U8视频，介绍使用Python进行网络爬虫的基础知识，并提供一个完整的代码示例来帮助你轻松掌握这个技能。无论你是编程新手还是有经验的开发者，都能从中学到实用技巧。

你是否曾经遇到过这样的问题：在网上看到一个很棒的视频，却无法下载保存？特别是那些以M3U8格式提供的视频，下载起来更是复杂。今天，我们将通过一个实战案例，教你如何使用Python爬虫技术来抓取和下载M3U8视频。

什么是M3U8？

在开始之前，我们需要了解什么是M3U8。M3U8是一种播放列表文件格式，常用于在线视频流媒体。它包含了媒体文件的路径，可以是本地路径，也可以是网络路径。通过M3U8文件，播放器能够按照顺序播放各个视频片段，从而实现流畅的播放体验。

工具准备

在开始编写代码之前，我们需要安装一些必备的Python库：

pip install aiohttp aiofiles requests

这些库分别用于异步HTTP请求、异步文件操作和常规HTTP请求。

代码解析

接下来，我们将一步步解析完整的代码示例，帮助你更好地理解每一部分的功能。

1. 获取电影URL

首先，我们需要获取电影页面的真实URL。因为有些网站的电影链接会包含特殊的标记或结构，通过以下函数我们可以确保获取到正确的URL：

def get_movie_url(movie_url):
    if not movie_url.endswith('/1-1.html'):
        movie_url = movie_url.replace('.html', '/1-1.html')
    return movie_url

2. 提取第一个M3U8链接和电影名称

接下来，我们需要从电影页面中提取第一个M3U8链接和电影名称：

def get_first_m3u8_url(movie_url):
    resp = requests.get(movie_url, headers=headers)
    pattern = re.compile(r'url":"(.*?)"')
    pattern_name = re.compile(r'class="hl-infos-title" href="(.*?)" title="(.*?)">')
    result = pattern.search(resp.text)
    result_name = pattern_name.search(resp.text)
    movie_name = result_name.group(2)
    encoded_url = result.group(1)
    decoded_url = urllib.parse.unquote(encoded_url)
    first_m3u8_url = decoded_url.split('url=')[-1]
    return first_m3u8_url, movie_name

3. 处理第一个M3U8链接

我们需要下载第一个M3U8文件，并从中提取出第二个M3U8链接：

def deal_first_m3u8(first_m3u8_url, movie_name):
    if not os.path.exists(f'{movie_name}/2.m3u8'):
        if not os.path.exists(movie_name):
            os.makedirs(movie_name)
        if not os.path.exists(f'{movie_name}/1.m3u8'):
            file_name = '1.m3u8'
            file_path = f'{movie_name}/{file_name}'
            resp = requests.get(first_m3u8_url, headers=headers)
            with open(file_path, 'w', encoding='utf-8') as f:
                f.write(resp.text)
            second_m3u8_url = ''
            with open(file_path, 'r', encoding='utf-8') as f:
                for line in f:
                    if line.startswith('#') or line == '\n':
                        continue
                    second_m3u8 = line.strip()
        second_m3u8_url = urljoin(first_m3u8_url, second_m3u8)
        file_name = '2.m3u8'
        file_path = f'{movie_name}/{file_name}'
        resp = requests.get(second_m3u8_url, headers=headers)
        with open(file_path, 'w', encoding='utf-8') as f:
            f.write(resp.text)

4. 解析第二个M3U8文件

然后，我们解析第二个M3U8文件，获取电影片段的URL列表：

def deal_second_m3u8(movie_name):
    file_path = f'{movie_name}/2.m3u8'
    lst_movies = []
    with open(file_path, 'r', encoding='utf-8') as f:
        for line in f:
            if line.startswith('#') or line == '\n':
                continue
            lst_movies.append(line.strip())
    return lst_movies

5. 异步下载电影片段

使用异步方式下载电影片段，可以提高下载速度：

async def download(down_url, file_path, sem):
    file_name = file_path + '/' + down_url[-13:]
    if not os.path.exists(file_name):
        for i in range(5):
            async with sem:
                try:
                    print(f'{file_name}开始下载。')
                    async with aiohttp.ClientSession() as session:
                        async with session.get(down_url) as resp:
                            content = await resp.content.read()
                            async with aiofiles.open(file_name, 'wb') as f:
                                await f.write(content)
                    print(f'{file_name}下载完成。')
                    break
                except Exception as e:
                    print(f'{file_name}下载失败,已重新下载，错误信息为：{e}')
                    continue

6. 合并电影片段

最后，我们将所有下载好的电影片段合并成一个完整的电影文件：

def merge_movie(lst_movies, movie_name):
    temp = []
    n = 1
    now_path = os.getcwd()
    path = f'{movie_name}/before_synthesis'
    os.chdir(path)
    for i in range(len(lst_movies)):
        file_name = lst_movies[i][-13:]
        temp.append(file_name)
        if len(temp) == 20:
            cmd = f'copy /b {"+".join(temp)} {n}.ts'
            r = os.popen(cmd)
            print(r.read())
            n += 1
            temp = []
    cmd = f'copy /b {"+".join(temp)} {n}.ts'
    r = os.popen(cmd)
    print(r.read())
    last_temp = []
    for i in range(1, n + 1):
        last_temp.append(f'{i}.ts')
    cmd = f'copy /b {"+".join(last_temp)} {movie_name}.mp4'
    r = os.popen(cmd)
    print(r.read())
    os.chdir(now_path)

主函数

if __name__ == '__main__':
    movie_url = 'https://www.7qhb.com/vod/qthl2024.html'
    movie_url = get_movie_url(movie_url)
    first_m3u8_url, movie_name = get_first_m3u8_url(movie_url)
    second_m3u8_url = deal_first_m3u8(first_m3u8_url, movie_name)
    lst_movies = deal_second_m3u8(movie_name)
    asyncio.run(main(lst_movies, movie_name))
    merge_movie(lst_movies[:], movie_name)
    print(len(lst_movies))
    print('电影下载完成！')

总结

通过这篇文章，我们从零开始，详细讲解了如何使用Python抓取和下载M3U8视频。这个过程涉及到网络请求、正则表达式、文件操作以及异步编程等多个知识点。希望这篇文章能帮助你掌握这些技能，为你在编程道路上提供一些有用的启示。