本页脑图：数据、云原生、安全
数据云安全
数据
- NoSQL
- Lambda/Kappa
- 湖仓一体
- 数据治理
云原生
- Docker
- Kubernetes
- CI/CD
- 可观测性
Mesh
- Istio
- Envoy
- 流量治理
- mTLS
安全
- 认证
- 授权
- 加密
- 审计
- 零信任
NoSQL：按数据模型选型
| 类型 | 代表 | 优势 | 适用 | 风险 |
|---|---|---|---|---|
| 键值 | Redis | 极低延迟，高并发。 | Token、会话、验证码、限流计数。 | 缓存一致性、容量、持久化。 |
| 文档 | MongoDB | 结构灵活，易扩展。 | 用户资料、配置、半结构化数据。 | 复杂事务能力弱于关系库。 |
| 列族 | HBase、Cassandra | 海量宽表，高写入。 | 日志、行为轨迹、时序数据。 | 查询模型受限。 |
| 图 | Neo4j | 关系遍历快。 | 权限继承、社交关系、风控关系网络。 | 超大规模分布式成本高。 |
NoSQL 选型细化
| 题干场景 | 优先选型 | 原因 | 不适合点 |
|---|---|---|---|
| Token、Session、验证码、排行榜、限流计数 | Redis | 读写延迟低，支持过期时间和原子操作。 | 不适合做复杂关系查询和长期唯一事实源。 |
| 用户资料字段经常变化，JSON 文档，半结构化数据 | MongoDB | 文档模型灵活，扩展字段方便。 | 复杂多表事务和强关系约束不如关系库。 |
| 海量日志、宽表、按行键范围查询 | HBase/Cassandra | 适合海量写入和分布式存储。 | 不适合复杂即席查询。 |
| 角色继承、社交关系、风控关系、路径分析 | 图数据库 | 关系遍历天然高效。 | 超大规模分布式运维和成本较高。 |
| 强事务、复杂 SQL、报表统计 | 关系数据库/数仓 | ACID、SQL、生态成熟。 | 横向扩展和灵活 schema 较弱。 |
大数据架构与湖仓一体
| 架构 | 核心 | 优点 | 缺点 | 论文场景 |
|---|---|---|---|---|
| Lambda | 批处理层 + 速度层 + 服务层。 | 实时和离线兼顾，容错强。 | 两套链路，维护复杂。 | 登录实时告警 + 历史审计分析。 |
| Kappa | 一套流处理链路，历史数据通过重放处理。 | 架构简单，延迟低。 | 依赖可靠消息日志和流处理能力。 | 从小时级批处理升级到秒级风控。 |
| 数据湖 | 低成本存储原始多源数据。 | 灵活，适合机器学习和探索分析。 | 治理差会变数据沼泽。 | 统一保存日志、用户行为和审计数据。 |
| 湖仓一体 | 数据湖 + 数仓能力，支持 ACID 和 BI 查询。 | 兼顾成本、灵活性、查询性能。 | 元数据和权限治理要求高。 | 企业数据平台升级改造。 |
企业数据治理
数据治理的目标是让数据标准、准确、安全、可追溯、可复用。
四个抓手
- 数据标准：统一字段、编码、日志格式。
- 元数据：数据字典、血缘、表关系。
- 数据质量：校验、清洗、去重、异常检测。
- 生命周期：采集、存储、使用、归档、删除。
认证系统落地
统一用户 ID、角色编码、权限资源编码和审计日志格式；通过 Kafka 采集事件，数据湖保存历史，Spark/Flink 分析异常登录，敏感字段加密并全程审计。
云原生：不是上云，是自动化和弹性
容器化
Docker 打包运行环境，解决部署一致性。
Kubernetes
负责调度、服务发现、副本控制、滚动更新、健康检查和 HPA。
CI/CD
代码提交后自动构建、测试、打包镜像、部署和回滚。
可观测性
Metrics、Logs、Traces。Prometheus 看指标，Grafana 展示，链路追踪定位调用问题。
Serverless
事件触发、按量计费、无需管理服务器。适合轻量异步任务，不适合长连接和冷启动敏感业务。
AIOps
用 AI 做异常检测、根因分析、容量预测和自动处置。
Kubernetes 常考对象
| 对象 | 作用 | 考试理解 |
|---|---|---|
| Pod | K8s 最小调度单元，包含一个或多个容器。 | 不是直接调度单个 Docker 容器，而是调度 Pod。 |
| Deployment | 声明式管理副本、滚动更新和回滚。 | 无状态服务常用 Deployment。 |
| Service | 为一组 Pod 提供稳定访问入口。 | Pod IP 会变，Service 名称稳定。 |
| Ingress | 管理集群外部 HTTP/HTTPS 访问。 | 常与网关、负载均衡一起考。 |
| ConfigMap/Secret | 管理配置和敏感信息。 | 配置外置，支持环境差异。 |
| HPA | 按指标自动水平扩缩容。 | 体现弹性伸缩能力。 |
Service Mesh：治理能力从代码里剥离
Service Mesh 的典型实现是 Istio 控制面 + Envoy Sidecar 数据面。它把流量管理、安全通信、熔断限流、可观测性从业务代码中剥离。
记忆：业务服务像车，Sidecar 是随车管家，控制面是交通指挥中心。车只跑业务，流量、安全和观测交给管家和指挥中心。
| 能力 | 怎么体现 | 论文指标 |
|---|---|---|
| 流量治理 | 灰度、金丝雀、A/B、超时、重试。 | 灰度发布故障影响范围小于 5%。 |
| 安全 | mTLS、服务身份、零信任。 | 服务间通信加密覆盖率 100%。 |
| 可观测 | 自动采集调用拓扑、延迟、错误率。 | 故障定位时间从 30 分钟降到 5 分钟。 |
安全架构与脆弱性分析
| 层次 | 风险 | 措施 | 指标 |
|---|---|---|---|
| 入口 | 恶意请求、暴力破解。 | 网关、WAF、验证码、限流。 | 攻击拦截率 99.9%。 |
| 身份 | 伪造 Token、越权。 | JWT 签名、OAuth2/OIDC、RBAC/ABAC。 | 权限校验低于 50ms。 |
| 服务 | 依赖故障、横向移动。 | mTLS、零信任、隔离、熔断。 | 核心服务 99.99%。 |
| 数据 | 泄露、篡改、误删。 | 加密、脱敏、备份、审计。 | 敏感字段加密 100%。 |
| 审计 | 事后不可追踪。 | 集中日志、事件流、异常检测。 | MTTD 从 45 分钟降至 3 分钟。 |
脆弱性答题：识别薄弱点 → 分析影响 → 给出防控措施 → 用压测/演练/监控验证。
安全题答题分层模板
- 身份可信：用户、设备、服务都要认证，例如 MFA、OAuth2/OIDC、mTLS。
- 权限最小：用 RBAC/ABAC、最小权限、动态授权控制访问范围。
- 数据保护：传输加密、存储加密、脱敏、密钥管理、备份恢复。
- 边界防护：网关、WAF、限流、防注入、防重放、防暴力破解。
- 审计追踪：关键操作留痕、集中日志、异常检测、告警联动。
- 持续验证：渗透测试、漏洞扫描、基线检查、应急演练。