PySpark Streaming的textFileStream 如何支持通配符或正则表达式以监控目录中特定文件的内容？

GuoJuXia 2017-07-17 04:36:04

最近在研究PySpark Streaming的使用，做个实时监控目录的小程序，请问PySpark Streaming的textFileStream如何只读取目录中特定类型文件的内容，比如目录test中可能会随时增加txt文件和docx文件，如何实现只有当增加txt文件时PySpark Streaming才会读取的功能？

所遇到的问题也跟这个问题差不多https://issues.apache.org/jira/browse/SPARK-8605

已经通过google发现PySpark 中的textFile支持通配符，而textFileStream不支持，但貌似又有人提出了解决方法，参考链接如下：
https://issues.apache.org/jira/browse/SPARK-14976
但是没有搞明白如何解决的，请问大牛们如何处理？感激不尽！

...全文

524 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本课程以Python语言为主讲解Hadoop框架中的一个附加工具Hadoop Streaming。这种工具是以一系列可以独立运行的Python文件为基础，实现特定的MR功能。本课程的内容主要为了向对于Java语言不熟悉的Python程序员讲解如何使用Python构建自己的MR程序，以及讲解Hadoop Streaming的工作原理。本课程的主要内容均根据Hadoop官网对于Hadoop Streaming的解释说明。

1. 引言 Hyperscan 是 Intel 推出的一款专注于高性能的多模、流式匹配的正则表达式引擎。其 C API 主要包含编译（Compilation）和扫描（Scanning）两部分，源码可从 GitHub Repo 下载。 2. 编译 Hyperscan 编译器将传入的正则表达式转换成模式数据库，在扫描阶段使用。编译过程会分析传入的多个正则表达式，决定扫描阶段的算法，尽量减少运行时计算量。 2.1 API API 提供了三个函数用于将正则表达式转换为模式数据库： hs_compile()

1. 引言项目上考虑使用 Hyperscan 优化匹配性能，因此做一些了解及记录。 Hyperscan是 Intel 推出的一款专注于高性能的多模、流式匹配的正则表达式引擎。其 C API 主要包含编译（Compilation）和扫描（Scanning）两部分，源码可从GitHub Repo下载。 2. 编译 Hyperscan 编译器将传入的正则表达式转换成模式数据库，在扫描阶段使用。编译过程会分析传入的多个正则表达式，决定扫描阶段的算法，尽量减少运行时计算量。 2.1 API ...

private static FtpWebRequest GetRequest( string URI, string username, string password ) { FtpWebRequest result = ( FtpWebRequest )FtpWebRequest.Create( URI ); result.Credentials = new Sys

介绍在本文中，我们将通过详细解释Kong的路由功能和内部工作原理来介绍它的代理功能。 Kong公开了几个接口，可以通过两个配置属性进行调整: proxy_listen，它定义了一个地址/端口列表，Kong将在这些地址/端口上接受来自客户机的公共流量，并将其代理到您的上游服务(默认情况下为8000)。 admin_listen，它还定义了一个地址和端口列表，但是这些地址和端口应该限制为仅供...

1,261

社区成员

1,169

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章