### [生成百万级数据库测试数据：工具、策略与终极指南](https://dashen.wang/article/39231)

**Published:** 2024-08-07T02:14:14

**Author:** 大神

**Excerpt:** 在一个深夜的编程马拉松中，小明一边喝着咖啡，一边为他的新项目创建数据库表。看着一条条空白的表格，他突然意识到一个问题：“我要怎么生成足够的测试数据来验证我的系统？” 他打开了ChatGPT，试图找到答案，但遗憾的是，生成的数据并不符合他的预期。 “生成测试数据真的是一件简单的事吗？” 对于许多开发者来说，这可能是一个未曾深入思考的问题。然而，当你需要生成几百万甚至上千万行的数据库数据时，问题的复杂性就显现出来了。本文将深入探讨如何在MariaDB中高效生成测试数据，并解决你可能遇到的各种挑战。 开篇故事：一次失败的尝试 小明从一个简单的MariaDB数据库开始，创建了几个表格： 、 和 。他使用了基本的 语句，构建了表结构： 填充 和 表的数据并不难。然而，当他开始考虑如何生成 表的数据时，问题变得棘手起来。他尝试用自签证书生成数据，用随机生成工具，但总是遇到各种问题：性能瓶颈、数据一致性和生成速度。这些问题让他陷入了困境。 生成测试数据的挑战 在你决定生成数据库测试数据之前，你需要明确几个关键挑战： 数据量：生成一千万行的数据并不是一个小任务。这需要考虑到数据库的写入速度、存储性能以及如何在短时间内完成。 数据一致性： 表中的 和 必须对应到 表和 表中的数据，这意味着你不能简单地生成随机数据。 性能优化：在大数据量的写入过程中，如何最大化利用 SSD 的性能？如何分段写入以避免数据库的崩溃？ 生成测试数据的几种方案 方案一：使用自定义脚本 你可以编写一个存储过程来自动生成数据。这个存储过程将根据 和 表中的数据生成 表的数据。以下是一个示例代码： 这个存储过程允许你根据指定的组数、每个内容的标签数和每组内容的数量来生成测试数据。你可以通过调整输入参数，生成所需的数据量。 方案二：利用Navicat等工具 有些数据库管理工具，如 Navicat，提供了生成测试数据的功能。这些工具可以帮助你快速生成随机数据，并支持数据的批量导入。 “使用第三方工具可以省去不少麻烦，但要确保工具支持复杂的数据关系。” —— 一位经验丰富的数据库管理员如是说。 方案三：分段写入与暂停恢复 如果你需要生成非常大量的数据，可以考虑将数据生成过程分成多个小段，分批写入数据库。这不仅可以减轻数据库的压力，还可以在生成过程中暂停和恢复操作。例如，你可以在每次写入一百万行数据后暂停，检查数据库的状态，然后继续写入。 极端测试数据集的生成 除了常规的测试数据，你还可以生成两个极端的测试数据集，以便测试数据库在不同数据模式下的查询性能。 随机数据集：生成完全随机的 和 组合。这种数据集可以模拟最糟糕的查询情况，测试数据库的随机查询性能。 重复数据集：生成每个 和 组合都重复若干次的数据集。你可以通过自定义脚本或者工具生成这种数据，并确保数据的位置是随机的，而不是按规律排列的。 生成随机位置的数据，你可以使用如下的SQL语句： 这种数据集能够测试数据库在处理重复数据时的性能表现。 结语：选择适合自己的数据生成方式 生成数据库测试数据看似简单，实则充满挑战。你需要根据自己的需求选择合适的生成方式，确保数据的一致性、完整性和写入效率。无论是使用自定义脚本，还是借助第三方工具，都需要在性能与可操作性之间找到一个平衡点。 “在技术的世界里，性能优化与数据生成永远是需要不断学习和探索的领域。” ——…

在一个深夜的编程马拉松中，小明一边喝着咖啡，一边为他的新项目创建数据库表。看着一条条空白的表格，他突然意识到一个问题：**“我要怎么生成足够的测试数据来验证我的系统？”** 他打开了ChatGPT，试图找到答案，但遗憾的是，生成的数据并不符合他的预期。

**“生成测试数据真的是一件简单的事吗？”** 对于许多开发者来说，这可能是一个未曾深入思考的问题。然而，当你需要生成几百万甚至上千万行的数据库数据时，问题的复杂性就显现出来了。本文将深入探讨如何在MariaDB中高效生成测试数据，并解决你可能遇到的各种挑战。

## **开篇故事：一次失败的尝试**

小明从一个简单的MariaDB数据库开始，创建了几个表格：`tag`、`content` 和 `tag_content_rel`。他使用了基本的 `CREATE TABLE` 语句，构建了表结构：

```
CREATE TABLE tag(
    id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
    description VARCHAR(1000)
);

CREATE TABLE content(
    id INT NOT NULL PRIMARY KEY AUTO_INCREMENT,
    description VARCHAR(1000)
);

CREATE TABLE tag_content_rel(
    rel_id INT PRIMARY KEY AUTO_INCREMENT,
    tag_id INT NOT NULL,
    content_id INT NOT NULL
);
```

填充 `tag` 和 `content` 表的数据并不难。然而，当他开始考虑如何生成 `tag_content_rel` 表的数据时，问题变得棘手起来。他尝试用自签证书生成数据，用随机生成工具，但总是遇到各种问题：**性能瓶颈**、**数据一致性**和**生成速度**。这些问题让他陷入了困境。

## **生成测试数据的挑战**

在你决定生成数据库测试数据之前，你需要明确几个关键挑战：

-   **数据量**：生成一千万行的数据并不是一个小任务。这需要考虑到数据库的写入速度、存储性能以及如何在短时间内完成。
-   **数据一致性**：`tag_content_rel` 表中的 `tag_id` 和 `content_id` 必须对应到 `tag` 表和 `content` 表中的数据，这意味着你不能简单地生成随机数据。
-   **性能优化**：在大数据量的写入过程中，如何最大化利用 SSD 的性能？如何分段写入以避免数据库的崩溃？

## **生成测试数据的几种方案**

### **方案一：使用自定义脚本**

你可以编写一个存储过程来自动生成数据。这个存储过程将根据 `tag` 和 `content` 表中的数据生成 `tag_content_rel` 表的数据。以下是一个示例代码：

```
DELIMITER //

CREATE PROCEDURE generate_test_data(
    IN num_groups INT,
    IN tags_per_content INT,
    IN contents_per_group INT
)
BEGIN
    DECLARE i INT DEFAULT 0;
    DECLARE j INT DEFAULT 0;
    DECLARE k INT DEFAULT 0;
    DECLARE tag_count INT DEFAULT (SELECT COUNT(*) FROM tag);
    DECLARE content_count INT DEFAULT (SELECT COUNT(*) FROM content);

    START TRANSACTION;

    WHILE i < num_groups DO
        SET j = 0;
        WHILE j < contents_per_group DO
            SET k = 0;
            WHILE k < tags_per_content DO
                INSERT INTO tag_content_rel (tag_id, content_id)
                VALUES (
                    (SELECT id FROM tag ORDER BY RAND() LIMIT 1),
                    (SELECT id FROM content ORDER BY RAND() LIMIT 1)
                );
                SET k = k + 1;
            END WHILE;
            SET j = j + 1;
        END WHILE;
        SET i = i + 1;
    END WHILE;

    COMMIT;
END//

DELIMITER ;
```

这个存储过程允许你根据指定的组数、每个内容的标签数和每组内容的数量来生成测试数据。你可以通过调整输入参数，生成所需的数据量。

### **方案二：利用Navicat等工具**

有些数据库管理工具，如 **Navicat**，提供了生成测试数据的功能。这些工具可以帮助你快速生成随机数据，并支持数据的批量导入。

> “使用第三方工具可以省去不少麻烦，但要确保工具支持复杂的数据关系。” —— 一位经验丰富的数据库管理员如是说。

### **方案三：分段写入与暂停恢复**

如果你需要生成非常大量的数据，可以考虑将数据生成过程分成多个小段，分批写入数据库。这不仅可以减轻数据库的压力，还可以在生成过程中暂停和恢复操作。例如，你可以在每次写入一百万行数据后暂停，检查数据库的状态，然后继续写入。

## **极端测试数据集的生成**

除了常规的测试数据，你还可以生成两个极端的测试数据集，以便测试数据库在不同数据模式下的查询性能。

-   **随机数据集**：生成完全随机的 `tag_id` 和 `content_id` 组合。这种数据集可以模拟最糟糕的查询情况，测试数据库的随机查询性能。
-   **重复数据集**：生成每个 `tag_id` 和 `content_id` 组合都重复若干次的数据集。你可以通过自定义脚本或者工具生成这种数据，并确保数据的位置是随机的，而不是按规律排列的。

生成随机位置的数据，你可以使用如下的SQL语句：

```
INSERT INTO tag_content_rel (tag_id, content_id)
SELECT FLOOR(RAND() * (SELECT MAX(id) FROM tag)), FLOOR(RAND() * (SELECT MAX(id) FROM content))
FROM tag_content_rel ORDER BY RAND();
```

这种数据集能够测试数据库在处理重复数据时的性能表现。

## **结语：选择适合自己的数据生成方式**

生成数据库测试数据看似简单，实则充满挑战。你需要根据自己的需求选择合适的生成方式，确保数据的**一致性**、**完整性**和**写入效率**。无论是使用自定义脚本，还是借助第三方工具，都需要在性能与可操作性之间找到一个平衡点。

> “在技术的世界里，性能优化与数据生成永远是需要不断学习和探索的领域。” —— 一位资深的开发者如此总结。

最后，如果你对生成测试数据有进一步的需求或想法，欢迎在评论区分享你的经验与见解。

**Tags:** 教程

**Categories:** 技术折腾

---