大数据应用之双色球算奖平台总体设计大纲篇一

简介:

作者:张子良

版权所有,转载请注明出处

引子:双色球延期开奖,你Hold住了吗

  福利彩票走进百姓生活,每期的500w大奖吸引了千万彩民的眼球和关注,备受争议的双色球延期开奖也成了争议的焦点,成为继12306之后,又一个站在风口浪尖的悲催儿。黑幕说,红会说,各种说甚嚣尘上。IT人只做技术事,至于类似美美卡里究竟几个零,一套内衣值几多银子的问题,还是交给干爹们去撕扯吧。当然福彩中心是不是红会,还是交给时间来证明吧。

一 概述

  本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新的云计算技术建立一套海量数据处理的技术解决方案。同时考虑到把这种想法付诸实践,搞一个开源海量数据处理平台,以双色球算奖问题,作为一个业务应用案例,指引我们前进的方向。本文是这一解决方案的第一篇,目的在于把整个平台当前面临的技术问题和未来发展方向做一个纲领性的界定,考虑到一个人的能力毕竟是有限的,群众的力量是无穷,本文仅定位于抛砖引玉,希望能够得到各位技术同行的支持和关注,让大家一起来共同完成整个解决方案的设计。开源社区的兄弟们,顶一个吧。

二 纲要

  1. 数据规模评估篇
    根据双色球历史销量数据,评估存储双色球历史购彩数据所需要的数据规模,按照全部存储、一年期存储、单期存储规模进行估算。
  2. 历史数据存储篇
    根据双色球历史投注数据(每一注的选号明细),按照存储时间的长短,评估存储双色球历史投注明细数据所需要的存储容量。根据其业务特点和存储容量,探讨实际采用的存储方案,是文件存储,还是数据库存储,亦或者是其他的存储方案。针对当前期算奖需要,评估存储该规模下的,该类型的数据所需要的内存空间或硬盘空间。
  3. 实时数据算奖篇
    面对2~3亿注的数据量级,7个数据项,6个中奖级别的设置,我们需要采用什么样的存储方式,存储待算奖期次的投注明细;我们需要采用什么样的算法,算法的时间复杂度和空间复杂度如何?计算一期中奖数据需要的时间和空间是多少?给出分省中奖统计数据的时间又是多少?
  4. 开奖算奖算法篇
    因为数据量级的问题,每一期的投注规模在2~3亿注之间,这样一个计算规模的数据量级,加上奖项级别的设置,算法的时间复杂度要求还是很高的。在这一篇需要针对当前的数据规模,给出一个优化的算法,并能够给出按照该算法进行,特定的硬件配置环境下,需要的计算时间和计算频次。以及相关算法的设计原理和规则。
  5. 数据分析BI篇
    关于历史投注明细数据的应用,商业价值的提炼和数据分析,目前还没有明确的概念,期望参与的园友能够给出答案。其一,数据可以用来做什么?其二 数据应该怎么来用?其三 这些应用将会带来什么样的商业价值。

以上内容仅为作者一人之浅见,算是从业务划分的角度,将要解决的问题,进行了一次分类。遗漏部分,需要各位园子里的兄弟指正完善,谢谢各位了。至于每一部分的内容结构暂时还没有具体的东西出来,待完善总体大纲后,再单独征询各位的意见和建议。

三 招募

    考虑到解决方案的设计和开源平台的开发,特征集对本项目感兴趣并在并行计算和大数据处理方向有独到见解的同仁参与进来。让大家为大数据的应用技术共同努力,在实践中进步,在进步中成熟。建了一个技术交流QQ群,群号:307807112

 

彩票算奖只是一个引子,真正要做的是海量数据的计算和分析,欢迎拍砖,感兴趣的话,请给个推荐,并畅所欲言。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
22天前
|
SQL 分布式计算 数据可视化
Tableau与大数据:可视化工具在大数据分析中的应用
【4月更文挑战第8天】Tableau是一款领先的数据可视化工具,擅长于大数据分析,提供广泛的数据连接器,支持多源整合。它与Hadoop、Spark等深度集成,实现高效大数据处理。Tableau的拖拽式界面和交互式分析功能使得非技术人员也能轻松探索数据。在实战中,Tableau用于业务监控、数据storytelling和自助式分析,推动数据民主化,提升决策效率。未来,Tableau将持续创新,扩展生态系统,并保障数据安全与合规性,助力企业最大化数据价值。
32 0
|
29天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
2月前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
4天前
|
存储 运维 监控
|
23天前
|
SQL Cloud Native 架构师
深入浅出Presto:大数据查询引擎的原理与应用
【4月更文挑战第7天】Presto是高性能的分布式SQL查询引擎,专为大规模数据交互式分析设计。它采用分离式架构,内存计算和动态规划优化查询,支持跨源查询、交互式查询和ANSI SQL兼容性。应用于大数据分析、实时数据湖查询和云原生部署。Presto的灵活性和效率使其在大数据处理领域备受推崇,适合分析师、数据科学家和IT架构师使用。未来将在博客中分享更多实践和案例。
22 1
|
24天前
|
分布式计算 资源调度 Hadoop
Apache Hadoop入门指南:搭建分布式大数据处理平台
【4月更文挑战第6天】本文介绍了Apache Hadoop在大数据处理中的关键作用,并引导初学者了解Hadoop的基本概念、核心组件(HDFS、YARN、MapReduce)及如何搭建分布式环境。通过配置Hadoop、格式化HDFS、启动服务和验证环境,学习者可掌握基本操作。此外,文章还提及了开发MapReduce程序、学习Hadoop生态系统和性能调优的重要性,旨在为读者提供Hadoop入门指导,助其踏入大数据处理的旅程。
102 0
|
1月前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
2月前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
4天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
4天前
|
SQL 分布式计算 大数据
MaxCompute产品使用合集之怎样可以将大数据计算MaxCompute表的数据可以导出为本地文件
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

热门文章

最新文章