如何使用Python和Selenium爬取淘宝商品信息

在数字化时代，电子商务已经成为我们购物的主要方式之一。淘宝作为中国最大的电子商务平台之一，拥有庞大的商品种类和丰富的商品信息。但是，如果你想要获取淘宝上的商品信息，手动复制粘贴可能会非常繁琐。因此，本教程将教你如何使用Python和Selenium自动化工具来爬取淘宝上的商品信息，让你能够轻松获取所需数据。

准备工作

在开始之前，我们需要做一些准备工作：

1. 安装Python：确保你的电脑上已经安装了Python。如果没有，你可以从Python官方网站（https://www.python.org/downloads/） 下载并安装。

2. 安装必要的库：使用以下命令安装所需的库：

   pip install requests selenium

3. 下载Chrome浏览器和Chrome驱动程序：我们将使用Chrome浏览器作为自动化工具的载体，因此需要下载Chrome浏览器并安装。同时，根据你的Chrome浏览器版本下载对应的Chrome驱动程序，下载地址为（https://sites.google.com/a/chromium.org/chromedriver/downloads） 。

编写Python爬虫代码

接下来，让我们编写Python爬虫代码来实现自动化爬取淘宝商品信息的功能。以下是完整的Python代码：

import re
import os
import requests
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service

# 设置淘宝网址
url = 'https://www.taobao.com/'

# 设置请求头
header={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) \
        AppleWebKit/537.36 (KHTML, like Gecko) \
        Chrome/35.0.1916.114 Safari/537.36'}

# 配置Chrome浏览器选项
options = Options()
options.add_experimental_option("debuggerAddress", "127.0.0.1:12306")

# 设置Chrome驱动程序路径
service_ = Service(executable_path=r'I:\chromedriver_win64\chromedriver.exe',port=0)

# 启动Chrome浏览器
driver = webdriver.Chrome(service=service_)
driver.get(url)
driver.maximize_window()

# 定义函数获取商品信息
def get_content(i):
    # 获取商品图片链接
    img = driver.find_element(by='xpath',
                              value='/html/body/div[6]/div/div/div/div/div[%d]/a/div[1]/img' % i).get_attribute(
        'src')
    img_response = requests.get(img,headers=header)
    img_name = "%d.jpg" % i

    # 判断taobao_img文件夹是否存在，不存在则创建
    if not os.path.exists('taobao_img'):
        os.mkdir('taobao_img')

    # 保存商品图片
    with open('taobao_img/' + img_name, mode='wb') as f:
        f.write(img_response.content)

    # 打开CSV文件，保存商品标题和价格
    g = open('taobao.csv', mode='a', encoding='utf-8')
    title = driver.find_element(by='xpath',
                                value='/html/body/div[6]/div/div/div/div/div[%d]/a/div[2]/div' % i).get_attribute(
        'innerHTML')
    title = title.replace(
        '<img src="//img.alicdn.com/imgextra/i1/O1CN01rHZjwm1kc1MDCvBIO_!!6000000004703-2-tps-38-20.png">','')
    g.write(title)
    price = driver.find_element(by='xpath',
                                value='/html/body/div[6]/div/div/div/div/div[%d]/a/div[3]' % i).get_attribute(
        'innerHTML')
    price = price.strip()

    if re.match('<span class="price-value"><em>¥</em>', price):
        price = price.strip('<span class="price-value"><em>¥</em>')
        price = price.replace("</span>", "")
        g.write(',' + price + '\n')
        g.close()

print("----程序至少运行60秒，请耐心等待------")

# 滚动使页面加载完成
for i in range(2000):
    driver.execute_script('scrollTo(0,%d)' % (i * 10))

# 创建CSV文件
open('taobao.csv', mode='w', encoding='utf-8')

# 循环获取商品信息
for i in range(1, 300):  # 300为最大数，不可更大
    get_content(i)

print('运行结束')

代码解析

以上代码使用了Python的requests库和Selenium库来实现自动化爬取淘宝商品信息的功能。主要步骤包括：

1. 设置淘宝网址和请求头。

2. 配置Chrome浏览器选项和Chrome驱动程序。

3. 启动Chrome浏览器，打开淘宝网页。

4. 定义get_content函数，用于获取商品信息，包括图片链接、标题和价格。

5. 循环滚动页面，以便加载更多商品信息。

6. 创建CSV文件用于保存商品信息。

7. 循环调用get_content函数，获取并保存商品信息。

8. 最后输出运行结束的提示。

总结

通过本教程，你学会了如何使用Python和Selenium来自动化爬取淘宝商品信息。这对于需要大量商品数据的市场研究、竞争分析或其他目的非常有用。记得要遵守网站的爬取规则和法律法规，以确保合法合规的爬取行为。

希望这个教程能帮助你轻松获取淘宝上的商品信息，提高工作效率。