【Tidb·进阶必看】如何使用 TiDB Lightning 从 CSV 文件迁移数据到 TiDB

伍六七叭酒 2022-03-17 10:14:47

CSV 支持与限制

本文介绍如何使用 TiDB Lightning 从 CSV 文件迁移数据到 TiDB。关于如何从 MySQL 生成 CSV 文件,可以参考使用 Dumpling 导出到 CSV 文件

TiDB Lightning 支持读取 CSV(逗号分隔值)的数据源,以及其他定界符格式如 TSV(制表符分隔值)。

文件名

包含整张表的 CSV 文件需命名为 db_name.table_name.csv,该文件会被解析为数据库 db_name 里名为 table_name 的表。

如果一个表分布于多个 CSV 文件,这些 CSV 文件命名需加上文件编号的后缀,如 db_name.table_name.003.csv。数字部分不需要连续但必须递增,并用零填充。

文件扩展名必须为 *.csv,即使文件的内容并非逗号分隔。

表结构

CSV 文件是没有表结构的。要导入 TiDB,就必须为其提供表结构。可以通过以下任一方法实现:

  • 创建包含 DDL 语句 CREATE TABLE 的文件 db_name.table_name-schema.sql 以及包含 CREATE DATABASE DDL 语句的文件 db_name-schema-create.sql
  • 首先在 TiDB 中直接创建空表,然后在 tidb-lightning.toml 中设置 [mydumper] no-schema = true

为了方便其他想学习Tidb数据库的小伙伴,更详细的文章链接我放在下面了:
https://docs.pingcap.com/zh/tidb/v4.0/migrate-from-csv-using-tidb-lightning

...全文
509 1 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
CSDN-Ada助手 2023-01-13
  • 打赏
  • 举报
回复
您可以前往 CSDN问答-大数据 发布问题, 以便更快地解决您的疑问
内容概要:本文档《TiDB_Ops运维指南.pdf》详细介绍TiDB的运维管理,涵盖云上部署、数据迁移、备份工具及实时数据处理等方面。首先介绍了TiDB Operator,它提供包括部署、升级、扩缩容、备份恢复等全生命周期管理。接着详述了TiDB Data Migration(DM)工具,用于从MySQL等数据库到TiDB的全量和增量数据迁移,重点描述了其架构、配置和使用方法。文档还介绍了TiDB的三种备份工具——TiDB Dumpling、TiDB Lightning和BR,分别适用于不同的备份和恢复场景。此外,TiCDC作为变更数据捕获工具,支持将数据同步到MySQL兼容数据库或Kafka等消息队列,确保数据的一致性和实时性。最后,文档展示了如何构建TiDB实时数仓架构,通过DM、TiDB、TiCDC、Kafka和Flink等组件,实现流批一体化的数据处理。 适合人群:具备一定数据库运维经验,特别是对分布式数据库感兴趣的数据库管理员、运维工程师和技术架构师。 使用场景及目标:①了解TiDB Operator的功能和优势,掌握其部署和管理方法;②掌握TiDB Data Migration工具的配置和使用,实现从传统数据库到TiDB数据迁移;③熟悉TiDB备份工具的选择和使用,保障数据的安全性和可恢复性;④利用TiCDC进行实时数据同步,构建高效的数据处理流水线;⑤学习如何构建和优化TiDB实时数仓架构,提高数据分析的效率和准确性。 阅读建议:此文档内容丰富,建议读者在阅读过程中结合实际操作进行练习,特别是DM、TiCDC等工具的配置和使用,以便更好地理解和掌握相关技术。同时,建议关注官方文档和社区资源,获取最新的技术支持和最佳实践。

89

社区成员

发帖
与我相关
我的任务
社区描述
Tidb开发者
其他 企业社区
社区管理员
  • csdnsqst0014
  • kikokingzz
  • karina17
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

社区初立,为了鼓励小友们在社区中积极互动,现在有一个活动如下:

试试用AI创作助手写篇文章吧