mysql，数据量很大的问题

vike50 2019-09-07 10:32:22

有一张表A数据量大，有300w行。另一张表B数据量只有几w。假如要执行查询id相同的数据，类似这样的操作，会执行得很慢，有什么方法可以优化呢？

...全文

79 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

铖邑 2019-09-29

打赏
举报

回复

需要分析计划看看，耗时如何

在使用Sqoop从Hadoop导出数据到MySQL时，遇到主键冲突（Duplicate entry '66' for key 'PRIMARY'）和外键约束错误（MySQLIntegrityConstraintViolationException）。解决办法包括检查数据库和导入数据，避免主键重复，以及在导出时使用`--input-null-string '\\N' --input-null-non-string '\\N'`参数处理空值，确保空值被正确插入为NULL，从而避免导入错误。

本文探讨了一款在线考试系统在高并发访问和大量数据时遇到的MySQL崩溃问题。当超过50人同时登录考试，偶尔会出现页面加载缓慢或无法显示，但数据未丢失。通过分析，提出三个经验：1)避免使用慢速的ORDER BY语句，建议调整查询方式以提高效率；2)缓存is_top数据，减少多个ORDER BY字段的影响；3)避免使用ORDER BY RAND()，并提供替代解决方案。对于此类问题，开发者可以采取相应措施优化数据库查询，提高系统稳定性。

当InnoDB表过大并进行大量更新、插入或删除操作时，可能会遇到锁表数量超过限制的问题。此问题源于MySQL启动时设置的innodb_buffer_pool_size过小，默认仅为8MB。文章介绍了如何通过调整该参数来解决此问题，并提供了不需要重启MySQL的服务端解决方案。

当执行大量更新、插入或删除操作时，可能会遇到MySQL Innodb 锁表大小超出限制的错误。这通常是由于innodb_buffer_pool_size设置过小导致的。解决方法是调整该变量至更合理的值，如1GB，但需要注意这需要重启MySQL服务。动态调整此变量在当前版本不可行。为了避免频繁重启，可以尝试批量处理，如每次事务处理5-10%的行。

22,296

社区成员

121,726

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章