› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
woduzibue
V2EX  ›  MySQL

mysql 亿级数据,数据筛选和导入导出

  •  
  •   woduzibue · Dec 24, 2024 · 3417 views
    This topic created in 695 days ago, the information mentioned may be changed or developed.
    表中有个亿级别的数据,需要将表中某个字段做分析聚合插入到另一张新的表中,
    请教一下各位大佬,
    1. 这种操作通过哪种方式做会相对来说是最佳实践
    2. 或者借用哪些工具会好一点
    我当前想到的是做个批处理批量更新到另一张表中,
    想问问论坛大佬们都还有哪些好点的做法,大厂里面都有哪些最佳实践
    4 replies  •  2024-12-25 14:53:28 +08:00
    VampireDemon
    VampireDemon
    Dec 24, 2024❤️1
    1
    nifi +doris
    woduzibue
    woduzibue
    OP
    Dec 24, 2024
    2
    @VampireDemon 感谢大佬,这是要自己再单独部署这两个工具是吧
    heqingpan
    heqingpan
    Dec 25, 2024 via Android❤️1
    3
    按 id>上次已处理的 id order by id limit 1000 ,从前到后批次查询、处理、批次写入(批次大小可以设置 1000 左右)。

    如果有必要,单个批次可以加事务。
    每个批次间可以加点 sleep 控制处理的 tps 。
    每处理 10 万条记录写个日志,以便确认运行状态,成功、失败、异常都加上对应日志。

    数据库性能够的话,一天处理个两三亿数据没什么问题。

    如果可能分多次跑,记得把已处理的 id 记在某人地方,让下次运行时可以指定对应的值。
    VampireDemon
    VampireDemon
    Dec 25, 2024❤️1
    4
    @woduzibue 对,很方便简单上手快,拖拉拽就好了。生态强大。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4223 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 06:00 · PVG 14:00 · LAX 22:00 · JFK 01:00
    ♥ Do have faith in what you're doing.