关于在大几万级别的存量表里新增100个字段的效率问题

稻庄 2023-10-27 12:23:10

往一个表建100个字段，这两种方式哪个会快点。
1.每个sql语句建1个字段，执行100条语句。
2.一个sql语句里面包含建100个字段，只执行1个语句。

...全文

121 3 打赏收藏转发到动态举报

写回复

用AI写文章

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

chengangcsdn 11-16

打赏
举报

mysql 支持online ddl 增加字段如果不指定顺序那么都是毫秒级的添加的。

但对mysql来说，更改数据字典肯定一次更改好，比100更改更优。所以选2

梨花树下思考 10-29

打赏
举报

吉普赛的歌 10-27

打赏
举报

当然是2

什么是网络空间安全？网络空间安全专业是网络空间安全一级学科下的专业，学科代码为“083900”，授予“工学”学位，涉及到以信息构建的各种空间领域，研究网络空间的组成、形态、安全、管理等。网络空间安全专业，致力于培养“互联网+”时代能够支撑国家网络空间安全领域的具有较强的工程实践能力，系统掌握网络空间安全的基本理论和关键技术，能够在网络空间安全产业以及其他国民经济部门，从事各类网络空间相关的软硬件开发、系统设计与分析、网络空间安全规划管理等工作，具有强烈的社会责任感和使命感、宽广的国际视野、勇于探索的创新精神和实践能力的拔尖创新人才和行业高级工程人才。国家安全大致分为领土安全，领海安全，领空安全，太空（空天）安全，网络空间安全五部分。网络空间安全的前景如何？ 1.网络安全对国家安全牵一发而动全身。过去，美国借口维护国家安全，单方面制裁中兴，华为，打着保护国家的幌子将商业问题政治化，公然阻碍公平竞争和技术进步，并让许多中国企业损失惨重，虽然这种行为损人而不利己，但却得了本国人民的支持。这是为什么？因为人人都知道网络安全不可忽视，国家安全非常重要。互联网的快速发展，给全世界带来了巨大改变，它使得各国联结更加紧密，也让国家边界概念逐渐淡化。但近年来，互联网在造福人类的同时，也被人利用进行恐怖主义、违法犯罪等活动。一些国家专门成立了网战司令部，把网络作为攻击别国的武器之一，将他国军事网络、通讯、电力、航空运输、金融系统以及核电站等关系国计民生的重要部门和行业作为攻击目标。一旦两国出现问题，便以互联网为平台的恐怖活动和违法犯罪活动对其国家发动攻击，使其社会不稳定。因此，网络安全对国家安全牵一发而动全身，保障网络安全对维护国家安全具有极端重要，这也是当下我国快速发展过程中最重视的一方面。 2.万物互联，安全为基，企业的网络安全不可忽视。腾讯副总裁马斌曾表示：甭管企业原来多牛，安全做不好，一瞬间说没就没也是常事。的确，现在所有企业都在谈数字化、智能化、云管端等等，但若你没有数字安全，账号信息一旦被泄漏，数据被非法人员使用，那么不仅会给企业带来巨大损失，甚至毁灭性打击，同时也给企业用户埋下了潜在危险。社会发展离不科学技术，而技术永远是一把双刃剑。有光明的地方就有黑暗，有人能用这样的技术造福我们，也有人用这样的技术给我们造成很大损失，尤其是现在，当网络安全的监管发展速度远远比不上科技的发展速度之时，我们只要使用网络，就会存在危机。以前针对信息安全，我们是发现问题，解决问题，可未来企业必须在网络安全上多下功夫，提前预防。 3.只要有互联网，就必须有网络安全。曾经看到一位网友说：“只要是人写的代码就有漏洞。没有不存在漏洞的系统，只有没被发现漏洞的系统。”细品之后，你会发现这句话的确有一定道理。为了生活的便利，我们将身份证、银行卡、社保卡等重要证件都绑定在了一些网站和App上，方便自己的同时，也将个人隐私和重要信息变相暴露在了不法分子眼中，这类人利用系统漏洞来获取用户信息，进行网络诈骗或非法买卖。根据中国消费者协会发布的《APP个人信息泄露情况调查报告》显示，85.2%的人遇到过个人信息泄露的情况。网络安全无时无刻不在威胁着我国互联网上8.54亿人民群众的信息、财产安全。 4.《IDC全球网络安全支出指南》报告显示，预计2023年全球网络安全支出将达到1571.6亿美元。全球各国政府和企业对网络安全技术的采纳愈加重视，市场环境一路向好，IDC根据报告内容，预测今年全球网络安全相关硬件、软件、服务市场的总投资达到1202.8亿美元，2023年达到1571.6亿美元。与全球相比，我国网络安全市场虽起步较晚，但近几年在国家政策、相关法规、数字经济、威胁态势等多方需求驱动下，整体市场规模得到了迅速发展，未来国内网络安全市场的发展潜力和空间将进一步加大。 5.在互联网萧条的大环境下，网络安全行业融资金额达到了29亿。去年被互联网人调侃为“裁员年”，众多知名企业受大环境影响，都在变相裁员、节约成本。但是，2019年初至今，越来越多的投资机构开始涌入网络安全这一赛道，据不完全统计，光是2019.3-2020.3一年时间，网络安全行业发生了25起融资事件，融资金额至少达到了29亿元，其中10家网络安全企业的融资金额都在亿元级别。受疫情影响，2020年很多行业都不太乐观，甚至很难生存下去，但是网络安全行业在2020年的第一季度亿元级融资就到达了5起。疫情将互联网线上购物推送到了全国人民手中，更是将网络安全推上了高速车道。无法复工的那段日子，企业都采用远程办公的方式上班，那么如何保证线上数据的安全，就成了大家的难题，这时候，网络安全的重要作用就得到了完全发挥。根据历史情况，不难发现，网络安全职业几乎不受经济大环境影响。 6.教育部将网络空间安全纳入高校一级学科目录。前几年，网络安全基本只服务于国家的一些重要机构，而近两年随着互联网行业的迅速发展，从全球范围来看，网络安全带来的风险正变得日益突出，并不断向政治、经济、文化、社会、国防等多个领域传导渗透，导致人才紧缺。为了尽快填满市场需求，教育部特将网络安全列为了高校一级学科，并要求各单位加强“网络空间安全”的学科建设，做好人才培养工作。并且，国家连续出台的一系列政策、法规和标准，都在为网络安全行业指明发展方向、坚定发展信心。国家政策大力推动网络安全的发展。2013年以来，我国先后成立了国家安全委员会、中央网络安全和信息化领导小组，出台了《国家安全法》、《网络安全法》、《国家网络空间安全战略》、《网络空间国际合作战略》等法律法规和重要指导文件。2014年在成立中央网络安全和信息化领导小组后的首次会议上，国家明确表示“没有网络安全就没有国家安全，没有信息化就没有现代化”。由此可见中央全面深化改革、加强顶层设计的意志，显示出了在保障网络安全、维护国家利益、推动信息化发展方面的决心。安全是发展的前提，发展是安全的保障，安全和发展必须同步推进。基于以上原因，对于正在考虑入行网络安全的朋友，前景没什么好担心的，最该担心的是怎样让自己成为行业所需的合格人才！网络空间安全的薪资如何？先聊大家最关心的问题，毕竟除了老板外，员工辛苦工作后的呈现结果都体现在了薪资上。薪资的多少决定了大家的消费标准和生活水平，谁不想住大别墅开着豪车过得爽一点呢？之前，猎聘联合上海控安推出了《2019中国网络安全与功能安全人才白皮书》。该白皮书基于猎聘平台5200万+中高端人才，系统性分析了网络安全与功能安全领域的人才画像、行业及地域供需、以及行业薪酬、发展情况等等。报告显示，2019年我国网络安全人才的平均年薪为24.09万元。从地域来看，一线城市薪酬较高，深圳位居榜首，平均年薪29.11万元，其次是北京，28.77万元，然后是上海，28.16万元。超过平均薪资的城市有6个，其中排名第一的北京与排名第六的苏州仅相差3千元。根据职位的不同，其薪资也有很大差别，由此可见，网络安全人员的就业前景非常乐观，薪酬水平随职业发展也有很大增长空间。网络安全的薪资为什么高？看了以上的薪资调研，大家一定心有疑惑：为什么普通专员的年薪都能15.61万，平均每月1.3万呢？核心原因：市场需求大于人才供给。就像前年星巴克出品的猫爪杯一样，当用户需求大于产品存量时，那么想要获得心爱的猫爪杯，你就必须支付更高的价格。前几年，网络安全基本只服务于国家的一些重要机构，而近两年随着互联网行业的迅速发展，从全球范围来看，网络安全带来的风险正变得日益突出，并不断向政治、经济、文化、社会、国防等多个领域传导渗透。2017 年 6 月 1 日，《网络安全法》正式颁布实施，其中第二十条规定“国家支持企业和高等学校、职业学校等教育培训机构开展网络安全相关教育与培训，采取多种方式培养网络安全人才，促进网络安全的人才发展。”。据新华社之前的相关报道，目前全国已有近200所高校开设了信息安全或网络空间安全专业，高校每年大概培养两万余人，但这仍然不能满足社会对相关人才的需求。与此同时，网络安全本身是一个攻防实战性很强的专业领域，当前大学教育又“照本宣科”，所以很难培养出真正的实操性网络安全人员，再加上企业对其需求持续增长，而当前相关人才本就普遍紧缺的大环境下，企业想要真正的招到人，就必须在薪酬福利上有足够的竞争优势。

另外，需要注意的是，随着时间的流逝，我们可能没有必要把所有数据都存到mysql里，毕竟它不是分析型的数据库，我们可以根据时间，把老的数据放到一些其他适合查询场景的库里，比如淘宝使用的是X-Engine引擎的PolarDB-X集群（虽然我也没研究这是个啥呢）。按照订单id来hash进行分表，当我们使用某个订单id来查询时，很方便定位，但是查用户的订单会很麻烦，从我们表的数量来说，所有表都查一遍不太现实，所以也需要另一张用户和订单的关联表（这个表也可以是分库分表的）来进行用户订单的辅助查询。

由于内容较多，可使用Ctrl+F搜索您需要的数据。注意：query函数的更多用法详见：sqlalchemy.orm.query.Query对象 JQData是什么 JQData是聚宽数据团队专门为金融机构、学术团体和量化研究者们提供的本地量化金融数据服务。使用JQData，可快速查看和计算金融数据，无障碍解决本地、Web、金融终端调用数据的需求。历经3年沉淀，15万宽客及数百家机构投研交易验证。...

分库分表的必要性首先我们来了解一下为什么要做分库分表。在我们的业务（web应用）中，关系型数据库本身比较容易成为系统性能瓶颈，单机存储容量、连接数、处理能力等都很有限，数据库本身的“有状态性”导致了它并不像Web和应用服务器那么容易扩展。那么在我们的业务中，是否真的有必要进行分库分表，就可以从上面几个条件来考虑。 · 单机储存容量。您的数据量是否在单机储存中碰到瓶颈。比如饿了么一天产生的用户行为数据就有24T，那么在传统的单机储存中肯定是不够的。 · 连接数、处理能力。在我们的用户量达到一定程度时，

分库分表，首先得知道瓶颈在哪里，然后才能合理地拆分（分库还是分表？水平还是垂直？分几个？且不可为了分库分表而拆分。选key很重要，既要考虑到拆分均匀，也要考虑到非partition key的查询。只要能满足需求，拆分规则越简单越好。在进行分库分表的时候应该有碰到一个问题，一个数据需要根据两种维度进行查询，但是我们在进行分库分表是只能根据一种维度进行。比如：用户购买了商品产生了订单，当用户非常多的时候，我们会选择订单【根据下单用户的ID进行分库分表】。

MySQL

56,618

社区成员

56,699

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章