表中有两个唯一索引；
使用 php 对一个数据表进行批量插入时，开始插入 1w 条数据只要 2s,插入 50w 条数据过后，再次插入 1w 条数据需要 18s ；
sql 使用的是拼接方式，3000 条数据拼接成一条 sql 执行；
这种问题如何解决？
› MySQL 5.5 Community Server
› MySQL 5.6 Community Server
› Percona Configuration Wizard
› XtraBackup 搭建主从复制
Great Sites on MySQL
› Percona
› MySQL Performance Blog
› Severalnines
推荐管理工具
› Sequel Pro
› phpMyAdmin
推荐书目
› MySQL Cookbook
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
MySQL 相关项目
› MariaDB
› Drizzle
参考文档
› http://mysql-python.sourceforge.net/MySQLdb.html
This topic created in 3175 days ago, the information mentioned may be changed or developed.
 |
1
首先拼接 SQL 执行并不是真正的批量插入，最好使用标准的批量插入方式；其次，表的索引要尽可能的少，索引越多插入效率越低。
|
 |
realpgFeb 26, 2018
2
igonre delayed 循环插吧 不用拼接成一个
|
 |
msg7086Feb 26, 2018
3
禁用索引，换 SSD。
|
 |
4
|
1 |
akiraFeb 26, 2018
5
把索引删了，数据导完以后再加回来
|
 |
male110Feb 26, 2018
6
把索引删了，数据导完以后再加回来
|
 |
lastpassFeb 26, 2018
7
可以试着先插入到一个空的中间表，再复制到的需要插入的表里。我原来在 oracle 上实验过这种方式最快。MySQL 应该也是同理。
|
 |
lianxiaoyiFeb 26, 2018
8
最简单的你可以试试 1 万个一条 SQL。降低内部刷 IO
|
 |
estFeb 26, 2018
9
把 @alvinbone88 那篇文章一定挨个看完。绝对不会慢。
|
 |
fakepoetFeb 26, 2018
10
mysql 的单表 IO 放大问题，如果数据量百万级接近千万，建议分表。
|
 |
12
@alvinbone88 谢谢，我测试了一下 1000 条数据批量插入时，临时关索引 所消耗的时间基本是 不关索引插入 的一半，但是批量插入 1 万条时 两个方法都超过 30s 了。我在仔细看看文档。
|
|
13
谢谢 各位朋友的指导 我就不一个个 @了
|
|
15
@lianxiaoyi 1 万条数据拼接成的 sql 字符串长度会超过 mysql 限制的 65535 个字符长度，虽然能修改配置，但是不方便。
|
 |
beginorFeb 26, 2018 via Android
16
分表会增加不少逻辑，如果能做表分区的话最好了
|
 |
17
看一下执行时间都花在哪了，
https://www.cnblogs.com/happySmily/p/5943311.html |
 |
opengpsFeb 26, 2018 via Android
18
看下你的聚集索引是什么字段，尽量采用时间等字段当聚集索引，这样追加数据物理上是尾部追加，而不是中间填充。数据量大了相差很明显，我曾做过实验，10 亿都没问题
|
Select Language