开发者社区> 问答> 正文

Spark:用于卡尔曼滤波器的窗口和UDAF

窗口操作允许您在最后K批数据上计算数据,这对于移动平均值或卡尔曼滤波器等非常方便

作为提醒,卡尔曼是一种顺序处理,用于根据先前的数据过滤一组数据。在查看UDAF的行为后,它似乎没有被调整,因为没有排序的概念(合并方法合并结果没有顺序)。

因此,如果UDAF不适应卡尔曼和窗口,如何在窗口内计算卡尔曼滤波器?是否有任何使用窗口的例子?

展开
收起
社区小助手 2018-12-19 16:37:49 2083 0
1 条回答
写回答
取消 提交回答
  • 社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。

    请注意,报价专门讨论了Window操作所以你的假设

    合并方法合并结果而没有订单

    不一定持有。如果窗口函数应用了ORDER BY子句,即

    F(...) OVER (ORDER BY ... [])
    要么

    F(...) OVER (PARTITION BY ... [])
    显式顺序由表达式的上下文定义,并且以明确定义的方式调用merge。

    作为副作用聚合函数使用OVER顺序(在前一种情况下全局,在后一种情况下通过分区),因此merge永远不会被调用。

    2019-07-17 23:23:01
    赞同 展开评论 打赏
问答分类:
问答地址:
问答排行榜
最热
最新

相关电子书

更多
Hybrid Cloud and Apache Spark 立即下载
Scalable Deep Learning on Spark 立即下载
Comparison of Spark SQL with Hive 立即下载