数据窗口使用importfile函数的方式如何导入大数据量的数据

qq_17734565 2016-04-28 11:38:06
用importfile函数导入数据量为10w条的数据
结果只会导入173行
大数据量的数据有什么办法导入
...全文
3023 3 打赏 收藏 转发到动态 举报
写回复
用AI写文章
3 条回复
切换为时间正序
请发表友善的回复…
发表回复
WorldMobile 2016-05-10
  • 打赏
  • 举报
 回复
建议你采用xml格式导入,这样的话,比较方便些,并且不容易出错
WorldMobile 2016-05-10
  • 打赏
  • 举报
 回复
importfile本身就支持大数量的导入,估计里你的文件内容有问题,导入时应该有错误提示,看一下具体的错误,分析一下是哪个位置不对了,注意:如果文件里有单引号、双引号之类的需要单独处理
北京大丸子 2016-04-28
  • 打赏
  • 举报
 回复
应该不会出现你的情况，我用importfile导入几十万的一个txt，没问题，可能你的数据格式有问题吧
PowerBI系列之Power Query专题
PowerBI系列之Power Query专题1.  获取数据 数据源种类介绍和获取Excel数据源输入数据和拷贝数据：创建辅助表解析Json/XML数据格式获取Web网页数据和URL添加动态参数连接数据的四种模式：Import、DirectQuery、Live Connection、Dual双 属于混合模式连接数据库：Sql server、 Mysql（直连但是必须先安装一个mysql插件）DirectQuery直连查询：Sql serverODBC方式获取数据表关联或多个Sql或调用存储过程获取数据SQL中动态传参和自定义函数: sql中使用参数或数据库名称使用参数连接Sharepoint和OneDrive数据源连接Dataset和Dataflow 替换本地数据源为Sharepoint数据源并保留数据处理操作 终止当前数据刷新Loading：Cancel Query数据源设置-重置数据连接凭证PBIDS连接数据源创建和使用报表模块（输入或值列表）利用报表模板和参数控制线下报表数据权限DirectQuery启用自动页面刷新和更改检测管理聚合表提高DirectQuery查询性能动态M查询参数提高DirectQuery查询性能添加数据刷新时间 DateTime.LocalNow()和Getdate()2.  数据清洗和M语言M语言和官方文档介绍PowerQuery中查阅M函数：=#shared, Ctrl+Space提示数据清洗之常用技能：提升标题、更改数据类型、保留删除错误或空行，删除重复项、选择列和删除列、填充单元格、合并列、拆分、提取、替换、条件替换、添加自定义列，添加条件列、添加索引列、分组、添加年月日列、追加和合并查询透视和逆透视以及转置合并单元格的Excel文件处理导入文件夹中多Excel文件并合并解决多文件合并中列顺序不一致使用参数和函数批量导入文件 文本中提取中文、英文、数字等处理双引号转义 列拆分详解解决列名改变错误解决列丢失错误动态显示、排序和重命名列为所有列名添加前缀列名字母大写和分隔符调整Trim标题列中的多余空格如何处理load数据错误为什么load的Excel数据有null空行为什么load的Excel数据标题在第二行灵活添加占位符规范同类相似数据数据按多列排序为分组添加Index序号分组内值合并诊断工具分析数据处理过程PowerQuery小技巧分享 新冠病例活动轨迹地图标识 
Flink海量数据实时去重
Flink海量数据实时去重 方案1: 借助redis的Set 具体实现代码 缺点 需要频繁连接Redis 如果数据量过大, 对redis的内存也是一种压力 方案2: 使用Flink的MapState 具体实现代码 缺点 如果数据量过大, 状态后端最好选择 RocksDBStateBackend 如果数据量过大, 对存储也有一定压力 方案3: 使用布隆过滤器 布隆过滤器可以大大减少存储的数据的数据量 优点 不需要存储数据本身，只用比特表示，因此空间占用相对于传统方式有巨大的优势，并且能够保密数据；
load函数matlab,『matlab load函数的用法』如何把matlab中的数据导到excel表格中
如何把matlab中的数据导到excel表格中xlswrite('E:系数.xls',B,'','A2')E:系数.xls是路径B是需要导入的矩阵A2是指矩阵从表格中的A2开始输入希望可以帮到你Matlab如何导入excel数据Matlab如何导入excel的方法如下：1、一xlsread()函数import简单的多，具体语句：A = xlsread('yourfilename.xls')直接MA...
PB数据窗口对象之计算域、排列、过滤、分组和其他
计算域 计算域是指在数据窗口的设计状态下添加到数据窗口中的Computed Field部件，它是一个数据窗口部件，具有部件的属性特征。计算字段是指在数据窗口对应的SQL语句中添加的表达式，计算字段是一个字段，它具有字段的属性特征。它们的区别主要体现在脚本中。计算字段因为具有字段的特征，所以SetItem等对字段操作的函数可以用来操作计算字段而不能来操作计算域，当需要在程序中动态设置值时，就应该使用计算字段而不能使用计算域，典型情况是对计算出来的值进行误差校正。这两个对象都可以使用GetItem一类的函数来
PB数据窗口说明大全
数据窗口控件 数据窗口控件-datawindow PB9.0提供了28个属性、35个默认事件、162个函数。注意与数据窗口对象的区分。 【其他】 ■脚本的执行效率 *尽量不要在RetrieveRow事件下编写脚本（包括注释）。 *如果数据窗口的DoubleClicked事件中编写了脚本，那么在数据窗口的C1icked事件中的脚本应该尽量短，否则双击事件中的脚本永远不可能得到执行。一
脚本语言

740

社区成员

8,036

社区内容

发帖
与我相关
我的任务
社区描述
PowerBuilder 脚本语言
社区管理员
  • 脚本语言社区
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章