失效链接处理 |
Flink_SQL开发指南 PDF 下载
本站整理下载:
提取码:cdox
相关截图:
主要内容:
1 概述
阿⾥实时计算开发平台为实时计算Flink SQL作业提供了存储管理、作业开发、作业调试、运维管
理、监控报警和配置调优功能。
Flink SQL开发指南主要包含以下内容: • 数据存储
实时计算开发平台提供了实时计算上下游存储设备(例如,RDS、DataHub、OTS等)管理
功能。通过存储注册⽅式引⼊的上下存储设备,可以实现数据预览、数据抽样以及DDL⽣成功
能。数据存储详情请参⻅数据存储概述。
说明: - 如果共享模式集群需访问阿⾥云VPC⽹络下的存储资源,请参⻅VPC访问授权。 - 如果实时计算访问的上下游存储存在⽩名单机制,请参⻅数据存储⽩名单配置。 • 作业开发
作业开发章节为您介绍Flink SQL作业的开发、上线 和启动流程。
• 作业调试
作业调试章节为您介绍Flink SQL作业的调试功能,包括本地调试和线上调试。 • 作业运维
作业运维章节为您介绍运⾏信息、数据曲线 和Failover等实时计算作业运维内容。
• 监控报警
监控报警章节为您介绍如何创建和启动报警规则,详情请参⻅监控报警。 • 作业调优
作业调优章节为您介绍Flink SQL作业的调优功能,主要包括⾼性能Flink SQL优化技
巧、AutoConf⾃动配置调优、AutoScale⾃动配置调优和⼿动配置调优。 • Flink SQL Flink SQL章节为您介绍Flink SQL语法,详情请参⻅Flink SQL概述。
⽂档版本:20200327 1
实时计算(流计算) Flink SQL开发指南 / 2 数据存储
2 数据存储
2.1 数据存储概述
阿⾥云实时计算集成了RDS、DataHub、OTS等数据存储系统的管理界⾯,为您提供⼀站式云上
数据存储管理服务。
数据存储的含义
数据存储有2层含义: • 实时计算产品上下游⽣态对应的数据存储系统/数据库表(以下简称为存储资源,详情请参⻅产
品⽣态)。 • 实时计算产品对上下游存储资源的管理功能(以下简称为数据存储功能)。
说明:
使⽤注册存储功能前,请先完成实时计算对存储设备的访问授权,授权⽅法请您参
⻅#unique_22和#unique_23。
实时计算产品⽀持2种引⽤上下游存储资源的⽅式:明⽂⽅式和存储注册⽅式。
明⽂⽅式
明⽂⽅式是通过在作业的DDL语句WITH参数中配置accessId和accessKey,来引⽤上下游存
储资源,详情请参⻅DDL概述。明⽂⽅式不仅⽀持同账号(包括主⼦账号)授权,同时还⽀持跨账
号授权。例如,当前实时计算A⽤⼾(包括A下所属的⼦账⼾)需要使⽤⽤⼾B的存储资源,可以通
过如下明⽂⽅式定义DDL。
CREATE TABLE in_stream(
a varchar,
b varchar,
c timestamp
)with(
type='datahub',
endPoint='http://dh-cn-hangzhou.aliyuncs.com',
project='<dataHubProjectName>',
topic='<dataHubTopicName>',
accessId='<accessIdOfUserB>',
accessKey='<accessKeyOfUserB>'
2 ⽂档版本:20200327
实时计算(流计算) Flink SQL开发指南 / 2 数据存储
);
存储注册⽅式
存储注册⽅式是将上下游存储资源预先注册⾄实时计算开发平台,然后通过实时计算控制台的数据
存储管理功能,对上下游存储资源进⾏引⽤。使⽤存储注册⽅式后,实时计算控制台能够为您提供
数据预览、数据抽样、DDL⾃动⽣成等功能,便于您⼀站式管理云上存储资源。
说明:
实时计算数据存储功能当前仅⽀持同账号属主下的存储资源,即当前使⽤实时计算的A⽤⼾(包 括A⽤⼾的⼦账⼾)所注册的存储资源,必须是A购买的存储资源。不⽀持跨账号授权,如果您需
要跨账号授权使⽤存储资源,请使⽤明⽂⽅式。
• 注册数据存储
使⽤存储注册⽅式需要将上下游存储资源预先注册⾄实时计算开发平台。注册步骤如下:
1. 登录实
|