博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
维表JOIN语句
阅读量:6212 次
发布时间:2019-06-21

本文共 2189 字,大约阅读时间需要 7 分钟。

维表

维表是一张不断变化的表(不更新的表是变化表的一种特例)。

如何查询或JOIN一张不断变化的表? 如果用传统的JOIN语法来表达JOIN dim_table ON xxx,会导致多次运行得到的结果不一致。所以在查询或JOIN维表的时候,需要明确指名要查看的是维表的哪个时刻的快照。因此,需要引入 SQL:2011 的Temporal Table语义。

维表DDL

Flink SQL中没有专门为维表设计的DDL语法,使用标准的  语法即可,同时需额外增加一行PERIOD FOR SYSTEM_TIME的声明。这行声明定义了维表的变化周期,即表明该表是一张会变化的表。

维表DDL示例

 
  1. CREATE TABLE white_list (
  2. id varchar,
  3. name varchar,
  4. age int,
  5. PRIMARY KEY (id), -- 用作维表的话,必须有声明的主键
  6. PERIOD FOR SYSTEM_TIME
  7. ) with (
  8. type = 'xxx',
  9. ...
  10. )

维表具体声明方式和参数请参见。

注意:声明一个维表时,必须指明主键。维表JOIN时,ON的条件必须包含所有主键的等值条件。

维表JOIN

维表是一张不断变化的表,因此在JOIN维表的时候,需指明这条记录关联维表哪个时刻的快照。目前仅支持关联当前时刻的维表(未来会支持关联左表rowtime所对应的维表快照)。

维表JOIN语法

 
  1. SELECT column-names
  2. FROM table1 [AS <alias1>]
  3. [LEFT] JOIN table2 FOR SYSTEM_TIME AS OF PROCTIME() [AS <alias2>]
  4. ON table1.column-name1 = table2.key-name1
  • 维表支持INNER JOINLEFT JOIN,不支持RIGHT JOINFULL JOIN
  • JOIN维表时,在维表后必须加上FOR SYSTEM_TIME AS OF PROCTIME()

    说明:FOR SYSTEM_TIME AS OF PROCTIME()含义是:JOIN维表当前时刻所看到的每条数据。

  • 维表JOIN工作模式是左表的一条记录到达时,在维表中查询并关联上匹配的数据。如果维表插入了一条数据能匹配上之前左表的数据时,JOIN的结果流不会发出更新的数据以弥补之前的未匹配。

  • JOIN行为只发生在处理时间(processing time),即使维表中的数据都被删了,之前JOIN流已经发出的关联上的数据也不会被撤回或改变。

例如,事件流JOIN白名单维表的SQL如下。

 
  1. SELECT e.*, w.*
  2. FROM event AS e
  3. JOIN white_list FOR SYSTEM_TIME AS OF PROCTIME() AS w
  4. ON e.id = w.id

注意:

  1. 维表JOIN的ON条件中一定要有包括维表primary key的等值条件,因为需要根据key来查维表。ON条件中可以有其他条件,例如 ON event.id = white_list.id AND event.name = white_list.name,其他条件需要包含所有维表主键的等值条件。
  2. 维表和维表不能做JOIN。DDL声明的字段、主键等需要和真实表里面定义的一致。

维表示例

测试数据

nameinfo:

id(bigint) name(VARCHAR) age(bigint)
1 lilei 22
2 hanmeimei 20
3 libai 28

phoneNumber:

name(VARCHAR) phoneNumber(bigint)
dufu 18867889855
baijuyi 18867889856
libai 18867889857
lilei 18867889858

测试语句

 
  1. CREATE TABLE datahub_input1 (
  2. id BIGINT,
  3. name VARCHAR,
  4. age BIGINT
  5. ) WITH (
  6. type='datahub'
  7. );
  8. create table phoneNumber(
  9. name VARCHAR,
  10. phoneNumber bigint,
  11. primary key(name),
  12. PERIOD FOR SYSTEM_TIME
  13. )with(
  14. type='rds'
  15. );
  16. CREATE table result_infor(
  17. id bigint,
  18. phoneNumber bigint,
  19. name VARCHAR
  20. )with(
  21. type='rds'
  22. );
  23. INSERT INTO result_infor
  24. SELECT
  25. t.id
  26. ,w.phoneNumber
  27. ,t.name
  28. FROM datahub_input1 as t
  29. JOIN phoneNumber FOR SYSTEM_TIME AS OF PROCTIME() as w
  30. ON t.name = w.name;

测试结果

id(bigint) phoneNumber(bigint) name(varchar)
1 18867889858 lilei
3 18867889857 libai
本文转自实时计算——

转载地址:http://rqdja.baihongyu.com/

你可能感兴趣的文章
阿里面试90%以上会问到的数据结构;HashMap
查看>>
Jdbc模板、事务管理
查看>>
hive 异常 (Attempt to do update or delete on table terminal that does not use an )
查看>>
其实,我是这么学习的
查看>>
对标华为 GPU Turbo,OPPO 推出 Hyper Boost 手机加速引擎
查看>>
行为识别论文笔记之多纤维网络 | ECCV 2018
查看>>
Java序列化 ObjectOutputStream源码解析
查看>>
web设计中那些因素可能影响网站后期优化
查看>>
第十八章:MVVM(三)
查看>>
SAP中使用Function Module创建物料的过程
查看>>
Building a Keras + deep learning REST API(三部曲之一)
查看>>
[算法总结] 十大排序算法
查看>>
Spring Aop之Cglib实现原理详解
查看>>
给定一个数组,找出不在数组中的最小的那个数字
查看>>
Java RequestDispatcher 详解
查看>>
JSP踩过的坑
查看>>
翻译:AKKA笔记 - 介绍Actors
查看>>
使用Mybatis generator帮助Mybatis生成配置和映射
查看>>
粒子群优化算法(PSO)之基于离散化的特征选择(FS)(三)
查看>>
PiFlow v0.5 发布:大数据流水线系统
查看>>