Streamsets DC实战-Hello World pipeline

登峰大数据 2023-01-13 03:18:34

课时名称	课时知识点
Streamsets DC实战-Hello World pipeline	通过创建第一个pipeline，学会创建pipeline的基本步骤，了解工作台布局及功能按钮。

...全文

400 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

java8集合源码简单的java-maven-app 此存储库用于 . 该存储库包含一个简单的 Java 应用程序，它输出字符串“Hello world!”。并伴随着几个单元测试来检查主应用程序是否按预期工作。这些测试的结果将保存到 JUnit XML 报告中。波纹管描述了设置的所有步骤 CI/CD pipeline on Jenkins 下面，我们将提供构建基础设施的详细信息，使用从开发到测试任何人工制品 (JAR/WAR) 的 CI/CD 管道。在云 AWS 上创建基础设施。首先，我们需要在“console.aws.amazon.com/ec2”上创建 2 个基础设施“Linux AWS”，我们必须将其用于测试和部署 • 之前我们需要创建一个“密钥对”以使用指纹访问 Amazone 开发运营 6d:b2:12:7d:23:07:e3 :Germany: 65:ea:4c:fc:dc:e1:16:67:c2:6f:cb:f8 密钥“devops.ppk”是为无密码实例访问生成的，默认用户实例“em2-user” • first实例。我们将用于“Jenkins”、公共 IP 和 DNS

1 概述 Kubeflow中默认提供的几个Pipeline都要基于GCP Google的云平台，但是希望在自己的集群部署，所以根据官网，总结了一些构建Pipeline的流程。首先，数据科学家本身就是在提数据，训练，保存模型，部署模型几个重要环节中工作，Pipeline提供了一个很友好的UI来给数据科学家来定义整个过程，而且整个过程是运行在K8S集群上的。这对于一些对资源利用率有要求的公司，统一一层K8S来服务在线的应用和这些机器学习，还是很不错的。通过定义这个Pipeline，就可以定义环环相扣的机器学

在DevOps过程中CI/CD是最主要的工具，通过它的Pipeline可以驱动整个开发、测试、交付和部署过程。其中Jenkins是目前最为常用的CI/CD工具，而Tekton是是直接运行在Kubernetes上的原生CI/CD。点击上图的“View logs”链接会进入Jenkins（首次需要用OpenShift的用户登录，然后选择赋权访问），查看Pipeline的运行日志。在构建完后在浏览器中刷新应用页面，点击右上方的灰色图标，在弹出框中会显示当前运行的应用版本，此时赢还是“Version 1”。

GItlab-ci CI/CD部署C语言helloworld项目安装Gitlab-runner命令行根据所有的系统类型参考Install GitLab Runner官网的文档进行安装；我使用的是Ubuntu系统的安装方式install; 添加官方 GitLab 存储库： $ curl -L "https://packages.gitlab.com/install/repositories/runner/gitlab-runner/script.deb.sh" | sudo bash 安装最新

这篇打算结束basic pipeline这个插件的方法学习，前面和本篇介绍方法，基本把常用的basic pipeline里面的方法都介绍了一遍。如果以后遇到不会的，可以去这个官方网站去查询新的方法介绍，其实官网也是比较坑的，介绍了这个方法的作用，但是没有给出一个具体的代码的示例。就拿https://jenkins.io/doc/pipeline/steps/workflow-basi...

李登峰的课程社区_NO_1

1

社区成员

90

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章