B5-5.2.1
Hadoop、MapReduce、NoSQL 等技术基本功能。
精编讲义 v1#
Hadoop 核心组件与基本功能
必记| Hadoop 核心组件 | 全称/功能定位 | 工作机制与关键概念 |
|---|---|---|
| HDFS | 分布式文件系统（存储层） | 采用主从架构（NameNode 管理元数据，DataNode 存储实际数据块 Block），默认按 3 副本冗余容错 |
| MapReduce | 分布式并行计算框架（计算层） | 核心分为两阶段：Map（映射/分发）将任务切分处理为键值对 <k1, v1> -> <k2, v2>；Reduce（规约/汇总）对相同 key 聚合并输出结果 |
| YARN | 集群资源调度与资源管理器 | 统一负责集群中的 CPU、内存等资源分配调度（ResourceManager 与 NodeManager） |
NoSQL（非关系型数据库）四大类型对比
必记键值（Key-Value）数据库
- 代表产品
- Redis, Memcached
- 数据模型特点
- 基于哈希表以 key-value 快速读写
- 典型适用场景
- 内容缓存、会话管理、高频读写计数器
文档型（Document）数据库
- 代表产品
- MongoDB, CouchDB
- 数据模型特点
- 以 JSON / BSON 等半结构化文档存储
- 典型适用场景
- Web 内容管理、用户画像、日志存储
列族（Column-family）数据库
- 代表产品
- HBase, Cassandra
- 数据模型特点
- 按列族分布式存储，支持海量稀疏表
- 典型适用场景
- 海量日志存储、时序数据、历史轨迹
图（Graph）数据库
- 代表产品
- Neo4j
- 数据模型特点
- 图结构存储（节点、关系、属性）
- 典型适用场景
- 社交网络关系、知识图谱、风控反欺诈
| NoSQL 数据库分类 | 代表产品 | 数据模型特点 | 典型适用场景 |
|---|---|---|---|
| 键值（Key-Value）数据库 | Redis, Memcached | 基于哈希表以 key-value 快速读写 | 内容缓存、会话管理、高频读写计数器 |
| 文档型（Document）数据库 | MongoDB, CouchDB | 以 JSON / BSON 等半结构化文档存储 | Web 内容管理、用户画像、日志存储 |
| 列族（Column-family）数据库 | HBase, Cassandra | 按列族分布式存储，支持海量稀疏表 | 海量日志存储、时序数据、历史轨迹 |
| 图（Graph）数据库 | Neo4j | 图结构存储（节点、关系、属性） | 社交网络关系、知识图谱、风控反欺诈 |
Hadoop 组件常考细节
必记易错陷阱
NameNode 仅存储文件系统元数据（文件名、目录树、块映射位置），不直接存储实际数据块；实际数据分散存储在各个 DataNode 上。
随堂自测（3 题 · 共 245 道关联题）展开作答
填空2 分自测不计入学习进度
Hadoop 的 ____ 是一种分布式文件系统，适合高容错的数据存储和管理。
填空2 分自测不计入学习进度
( )是Hadoop核心技术之一,它是一种编程模型，用于大规模数据集（大于1TB）的并行运算。
填空2 分自测不计入学习进度
Hadoop是一个（）系统的基础架构，可以高效地存储、管理及分析海量数据，以获取更多有价值的信息。它进行数据存储管理所采用的系统是HDFS.
B5-5.2.2
爬虫、清洗等技术基本概念及常用工具认知。
精编讲义 v1#
网络爬虫与数据采集核心概念
必记- 网络爬虫（Web Crawler/Spider）：自动从互联网抓取超文本网页的程序，遵循
robots.txt协议 - 常用爬虫框架与工具：Python 中的 Requests、Scrapy、BeautifulSoup、Selenium 以及开源分布式采集工具
- 传感器与日志采集：如 Flume、Logstash、Kafka 负责从服务器日志及物联网设备进行实时数据管道流转
数据清洗（Data Cleaning）的核心任务与方法
必记| 清洗对象 | 主要缺陷现象 | 标准处理手段与算法 |
|---|---|---|
| 缺失值处理 | 字段为空（NULL/NaN） | 删除记录、人工填充、统计值填充（均值/中位数/众数）或回归预测填充 |
| 异常值检测 | 取值超出合理范围（如年龄 300 岁） | 3σ 原则（正态分布）、箱线图（IQR 四分位距）、聚类剔除 |
| 重复值清洗 | 多条记录完全相同或语义重复 | 按主键或核心特征联合去重，保留最新或最全版本 |
| 数据规范化 | 格式不一（如日期格式混杂、单位不同） | 统一数据单位与时间戳格式，字段值标准化（如最小-最大归一化、Z-score） |
随堂自测（3 题 · 共 33 道关联题）展开作答
填空2 分自测不计入学习进度
____________是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。 另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
填空2 分自测不计入学习进度
____是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。
填空2 分自测不计入学习进度
爬虫技术的应用可以分为两大类:采集型爬虫、____型爬虫。
B5-5.2.3
大数据分析、挖掘、可视化技术基本概念。
精编讲义 v1#
数据分析与挖掘核心流程与常用算法
必记- 数据挖掘（Data Mining）：从大量、不完全、有噪声、模糊、随机的数据中，提取隐含在其中、人们事先不知道但又是潜在有用的信息和知识的过程
- 三大主流挖掘任务：分类（决策树/朴素贝叶斯/SVM）、聚类（K-Means/层次聚类）、关联规则分析（Apriori/FP-Growth，如“啤酒与尿布”经典案例）
- 预测性建模：线性回归、逻辑回归、时间序列分析（ARIMA）等
主流数据可视化技术与工具
重点| 分类 | 代表工具与框架 | 特点与应用 |
|---|---|---|
| 开源 Web 前端图表库 | ECharts（百度开源）, D3.js, Chart.js | 基于 Web 技术，支持丰富的动态交互与大屏展示 |
| 专业 BI 商业报表软件 | Tableau, Power BI, FineBI (帆软) | 拖拽式生成商业智能仪表板，多维联动分析 |
| Python/R 科学绘图库 | Matplotlib, Seaborn, ggplot2 | 数据科学与算法建模分析阶段的快速绘图与统计展现 |
随堂自测（3 题 · 共 171 道关联题）展开作答
单选2 分自测不计入学习进度
下列关于数据可视化的描述，错误的是（）
填空2 分自测不计入学习进度
____________指利用 ETL 等清洗工具，对有遗漏数据（缺少感兴趣的属性）、噪 音数据（数据中存在着错误、或偏离期望值的数据）、不一致数据进行处理。
填空2 分自测不计入学习进度
可视化就是把数据、信息和知识转化为____的表现形式的过程。