在数字时代，数据是至关重要的资源。无论是企业还是个人，都需要从各种渠道获取数据，并进行分析和可视化，以便更好地了解市场趋势和用户需求。本教程将介绍如何使用Python编写一个简单但强大的网页爬虫，以爬取京东商品信息，并将爬取到的数据进行可视化展示。无论你是对数据分析感兴趣，还是想要了解某一特定商品的市场情况，这个教程都将对你有所帮助。
1. 起始故事
假设你是一名电商从业者，你经营着一家在线商店。你一直在寻找一种方法，可以更好地了解市场上同类商品的价格、销量和用户评价等信息，以便更好地定价和推广你的产品。你可能会花费大量时间手动浏览京东等电商网站，记录商品信息，但这种方法非常耗时且容易出错。因此，你决定尝试使用Python编写一个网页爬虫来自动获取商品信息，并进行数据分析和可视化，以便更好地了解市场动态。
2. 编写网页爬虫
在这一部分，我们将介绍如何使用Python编写网页爬虫，来爬取京东商品信息。以下是关键部分的核心代码示例：
import time
import pandas as pd
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
if __name__ == "__main__":
word = input("请输入要爬取的商品名称")
page_size = int(input("请输入要爬取的页数"))
# 创建一个浏览器驱动器的对象
driver = webdriver.Edge()
# 通过驱动器去打开京东的首页
driver.get("https://www.jd.com")
time.sleep(2)
# 找到搜索框
input_box = driver.find_element(By.ID, "key")
input_box.send_keys(word)
input_box.send_keys(Keys.ENTER)
names, prices, commits, shops = [], [], [], []
for i in range(page_size):
# 将滚动条拖到最下面
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
# 停顿3秒，等待数据刷新
time.sleep(3)
good_list = driver.find_elements(By.XPATH, '//*[@id="J_goodsList"]/ul/li')
# 遍历每页所需爬取的内容
for good in good_list:
price = good.find_element(By.CLASS_NAME, "p-price").text,
name = good.find_element(By.CLASS_NAME, "p-name").text,
commit = good.find_element(By.CLASS_NAME, "p-commit").text,
shop = good.find_element(By.CLASS_NAME, "p-shop").text
# 将爬取的数据赋值给空列表中
names.append(name[0])
prices.append(price[0])
commits.append(commit[0])
shops.append(shop)
driver.find_element(By.CLASS_NAME, "pn-prev").click()
# 停顿3秒，等待数据刷新
time.sleep(3)
df = pd.DataFrame(
{
"价格": prices,
"标题": names,
"评论数": commits,
"出版社": shops
})
df.to_excel("商品信息.xlsx")上述代码中，我们使用了Selenium库来模拟浏览器操作，打开京东网站并搜索指定的商品。然后，我们通过定位HTML元素的方式，获取商品的名称、价格、评论数和店铺信息，并将这些信息存储在一个Pandas DataFrame中，最终将数据保存为Excel文件。
3. 数据可视化
爬取到数据后，下一步是进行数据可视化，以便更好地理解和分析数据。我们将使用Pyecharts库来创建一个简单的饼图，用于展示商品信息中不同出版社的数量分布。以下是相关代码：
from pyecharts.charts import Pie
# 按数量统计出前10名的数据
sort_data = df.groupby("出版社").size().sort_values(ascending=True).head(10)
# 进行数据处理，将数据转换为图表所需格式
data = [list(z) for z in zip(sort_data.index.tolist(), sort_data.values.tolist())]
# 绘制饼图
pie = Pie()
pie.add(series_name="排名", data_pair=data)
pie.render(path="饼图.html")这段代码首先对出版社进行数量统计，并选择前10名的数据进行展示。然后，将数据转换为Pyecharts所需的格式，最后绘制了一个饼图，用于展示不同出版社的数量分布情况。
结论
通过本教程，你学会了如何使用Python编写一个简单但功能强大的网页爬虫，用于爬取京东商品信息，并进行数据可视化展示。这个过程包括了网页爬取、数据处理和可视化展示等关键步骤，可以帮助你更好地了解市场动态和竞争对手情况。
数据爬取和可视化是数据分析的重要一环，无论你是电商从业者、数据分析师还是对数据感兴趣的人，这些技能都将对你的工作和个人发展带来很大帮助。希望你能够继续学习和探索，不断提升自己的数据分析能力。
最后，记得合法使用爬虫技术，遵守网站的使用规则和法律法规，以确保数据获取的合法性和可靠性。祝你在数据分析领域取得成功！
微信扫一扫 
