ssis抽取数据效率和源数据表的索引是否有关系

蔬菜工程师 2015-09-01 11:44:42

前提：数据源oracle → 目标表SQL SERVER，数据由oracle到sql server

由于数据源升级，需要换数据源，但是升级后的表名称和结构和升级前的都一样，但是新表多了很多索引（10条）
之前抽取数据90万3分钟完成，现在却需要60分钟。
通过查看表结构，升级后的数据表结构字段类型都一样，最多是范围变大了（比如由varchar2(48)变成varchar2(100)）。

想问下高手，索引理论上是增加查询速度，用ssis抽取数据时效率会不会受影响？

PS：只是单独这一张表抽取速度慢，其他千万级的数据速度都正常很快。并且该表查询SQL也简单，在plsql中查询很快。

...全文

166 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

shoppo0505 2015-09-02

打赏
举报

回复

索引并非越多越好，所以多出来的索引可能互相干扰了。你这个情况，可能是在数据转移过程中索引因为物理排序错乱，失效了。可以尝试一下重新排序，或者建立下索引

根据需求，提取过程可以是全量数据抽取（获取所有数据），也可以是增量数据抽取（只获取自上次抽取以来发生变化的数据）。数据加载是ETL过程的最后一步，涉及将转换后的数据加载到目标系统，如数据仓库、数据湖或数据市场。在加载过程中，需要考虑数据的分区、索引、数据完整性等问题，以提高数据的查询效率和可靠性。ETL开发是指从各种数据源中提取数据、对数据进行转换以满足业务需求，然后将数据加载到目标系统（通常是数据仓库或数据库）中的过程。转换过程可能包括数据映射、数据聚合、数据合并、数据过滤、数据排序等操作。

在处理Excel数据之前，理解数据结构的基础至关重要。数据结构是指数据的组织、管理和存储方式，它决定了如何访问和处理数据。在Excel中，数据通常以表格的形式存在，每个单元格包含一个数据项，单元格按行和列组织，形成单元格区域。表格具有标题行和可能包含多行数据，而数据结构的优化可以提高数据处理的效率和准确性。SQL Server提供了多种管理工具，以便于用户执行基本和高级数据库操作。

本文将全面解读及的建议。一般来讲，ETL平台架构包含五个主要层次，分别为及主要负责数据接入和源端管理，包括：1️⃣ 数据库接入关系型：MySQL/Oracle 等，支持全量/增量/CDCNoSQL：MongoDB/HBase 等，处理非结构化数据2️⃣ 文件处理本地文件：CSV/Excel/XML/JSON/日志分布式存储：HDFS/S3/OSS，支持大规模数据3️⃣ API集成REST API：HTTP接口，支持认证授权WebService：SOAP协议，安全传输4️⃣ 实时数据。

批量操作是数据库管理中的一个重要概念，指的是在数据库中一次性执行多个操作，而不是逐一进行。这种操作可以显著提高数据处理的效率，尤其是在处理大量数据时。批量操作可以应用于数据的导入导出、数据的更新删除，以及索引的创建和重建等多个场景。在处理成千上万条数据时，逐条操作将会耗费大量的时间和系统资源，而批量操作可以将这些操作打包进行，减少数据库I/O次数，从而减少系统负载，提高操作效率。本章节深入分析了表数据的查看与复制功能，从技术原理到实践操作再到高级应用。

第一周：总结记录第一周工作内容和下一周计划。 1 什么是BI BI全称商业智能（Business Intelligence），在传统企业中，它是一套完整的解决方案。将企业的数据有效整合，快速制作出报表以作出决策。商业智能BI在数据架构中处于前端分析的位置，其核心作用是对获取数据的多维度分析、数据的切片、数据的上钻和下钻、cube等。通过ETL数据抽取、转化形成一个完整的数据仓库、然后对数据仓库的数据进行抽取，而后是商业智能的前端分析和展示。说白了，商业智能就是对当前数据或者历史数据进行分析，帮助

662

社区成员

253,723

社区内容

发帖

与我相关

我的任务

其他技术论坛（原bbs）

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章