B5-5.1.1
大数据产生背景与基本概念、主要特性。
精编讲义 v1#
大数据的基本概念与产生背景
必记大数据（Big Data）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。其产生的核心驱动力为互联网、移动互联网、物联网的普及以及各类传感器数据的爆发式增长。
大数据的核心特征（4V 特征，业界亦扩充为 5V）
必记海量性（大量）
- 英文原词
- Volume
- 核心内涵解释
- 数据体量巨大，跃升到 TB、PB、EB 乃至 ZB 级别
- 考点要记
- 数据量从传统 GB 级跃升
多样性（多样）
- 英文原词
- Variety
- 核心内涵解释
- 数据类型繁多，包括结构化、半结构化（XML/JSON）与非结构化（音频/视频/图片）
- 考点要记
- 非结构化数据占比超过 80%
高速性（快速）
- 英文原词
- Velocity
- 核心内涵解释
- 数据生成速度快、处理速度要求高，要求实时分析与流式处理
- 考点要记
- 一秒定律（1 second rule）
低价值密度（价值）
- 英文原词
- Value
- 核心内涵解释
- 价值密度极低，但商业价值极高，需要海量提炼
- 考点要记
- 沙里淘金，关键在于提炼关联分析
真实性（真实，第5V）
- 英文原词
- Veracity
- 核心内涵解释
- 数据的质量、准确性与可信赖度
- 考点要记
- 数据清洗与质量控制的前提
| 特征维度 (4V) | 英文原词 | 核心内涵解释 | 考点要记 |
|---|---|---|---|
| 海量性（大量） | Volume | 数据体量巨大，跃升到 TB、PB、EB 乃至 ZB 级别 | 数据量从传统 GB 级跃升 |
| 多样性（多样） | Variety | 数据类型繁多，包括结构化、半结构化（XML/JSON）与非结构化（音频/视频/图片） | 非结构化数据占比超过 80% |
| 高速性（快速） | Velocity | 数据生成速度快、处理速度要求高，要求实时分析与流式处理 | 一秒定律（1 second rule） |
| 低价值密度（价值） | Value | 价值密度极低，但商业价值极高，需要海量提炼 | 沙里淘金，关键在于提炼关联分析 |
| 真实性（真实，第5V） | Veracity | 数据的质量、准确性与可信赖度 | 数据清洗与质量控制的前提 |
大数据核心思维陷阱
必记易错陷阱
专转本常考辨析：大数据时代强调关注“相关关系”而非必须探究“因果关系”；强调采用全样数据而非传统抽样数据；容忍数据的混杂性而非追求绝对精确性。
随堂自测（3 题 · 共 347 道关联题）展开作答
单选2 分自测不计入学习进度
大数据的数据量非常庞大，通常是PB以上，其中1PB=
填空2 分自测不计入学习进度
大数据____是指建立相应的数据库，利用存储元件将采集到的结构化、半结构化数据存储到数据库中，并对数据进行管理和调用。
多选2 分自测不计入学习进度
根据产生主体的不同，大数据可以分为____
B5-5.1.2
大数据的发展历程。
精编讲义 v1#
大数据技术发展的三个主要阶段
必记萌芽期（技术准备）
- 时间区间
- 1980s - 2000 年
- 标志性技术/代表
- 数据仓库、商务智能、数据挖掘
- 阶段核心特征
- 关系型数据库主导，开始面临海量存储瓶颈
成熟期（开源爆发）
- 时间区间
- 2000 年 - 2010 年
- 标志性技术/代表
- Google 三驾马车（GFS/MapReduce/BigTable）、Apache Hadoop/HDFS
- 阶段核心特征
- 分布式计算与存储框架确立，NoSQL 兴起
应用期（生态繁荣与智能融合）
- 时间区间
- 2010 年至今
- 标志性技术/代表
- Spark 内存计算、Flink 流计算、深度学习结合
- 阶段核心特征
- 实时计算、数据湖、AI 与大数据深度融合
| 发展阶段 | 时间区间 | 标志性技术/代表 | 阶段核心特征 |
|---|---|---|---|
| 萌芽期（技术准备） | 1980s - 2000 年 | 数据仓库、商务智能、数据挖掘 | 关系型数据库主导，开始面临海量存储瓶颈 |
| 成熟期（开源爆发） | 2000 年 - 2010 年 | Google 三驾马车（GFS/MapReduce/BigTable）、Apache Hadoop/HDFS | 分布式计算与存储框架确立，NoSQL 兴起 |
| 应用期（生态繁荣与智能融合） | 2010 年至今 | Spark 内存计算、Flink 流计算、深度学习结合 | 实时计算、数据湖、AI 与大数据深度融合 |
我国大数据国家战略关键节点
重点- 2015 年国务院印发《促进大数据发展行动纲要》，大数据正式上升为国家战略
- “十三五”与“十四五”规划均将大数据作为推动经济高质量发展的战略支撑
- 建立国家级大数据综合试验区（如贵州等试验区），推进数字中国与数字政府建设
随堂自测（3 题 · 共 15 道关联题）展开作答
填空2 分自测不计入学习进度
在大数据时代, 数据产生方式的变革主要经历了____阶段、用户原创内容阶段、感知式系统阶段。
判断1 分自测不计入学习进度
在新加坡政府发展大数据行动中，政府侧重于做好数据分析和服务，不承担数据提供服务。（ ）
单选2 分自测不计入学习进度
当前大数据技术的基础是由（ ）首先提出的。
B5-5.1.3
大数据与云计算、人工智能技术的关系。
精编讲义 v1#
大数据、云计算与人工智能的“三位一体”协同关系
必记大数据（Data）
- 在协同体系中的角色
- 原料与资产
- 比喻说明
- 石油 / 燃料
- 相互依存关系
- 为 AI 算法模型提供海量高质量训练数据与验证场景
云计算（Computing）
- 在协同体系中的角色
- 计算基础设施
- 比喻说明
- 引擎 / 电网
- 相互依存关系
- 为大数据处理与 AI 训练提供弹性的分布式算力与海量存储
人工智能（AI）
- 在协同体系中的角色
- 深度价值提炼引擎
- 比喻说明
- 大脑 / 驾驶员
- 相互依存关系
- 利用深度学习与机器学习让大数据从单纯统计提升到智能决策
| 技术要素 | 在协同体系中的角色 | 比喻说明 | 相互依存关系 |
|---|---|---|---|
| 大数据（Data） | 原料与资产 | 石油 / 燃料 | 为 AI 算法模型提供海量高质量训练数据与验证场景 |
| 云计算（Computing） | 计算基础设施 | 引擎 / 电网 | 为大数据处理与 AI 训练提供弹性的分布式算力与海量存储 |
| 人工智能（AI） | 深度价值提炼引擎 | 大脑 / 驾驶员 | 利用深度学习与机器学习让大数据从单纯统计提升到智能决策 |
记忆口诀
必记复习提示
“云计算是底座（算力），大数据是资源（燃料），人工智能是导向与应用（大脑）”。三者相互促进、密不可分。
随堂自测（3 题 · 共 26 道关联题）展开作答
多选2 分自测不计入学习进度
以下关于大数据、云计算和物联网的联系，描述正确的有（）
多选2 分自测不计入学习进度
以下关于大数据、云计算和物联网的区别，描述正确的有（）
单选2 分自测不计入学习进度
以下关于云计算、大数据和物联网之间的关系，论述错误的是()