历经大半年的大数据上云也算在近期告一段落。数据上云也是为了更稳定，减少维护成本，增缩容更方便。 数据上云过程中，我又主导了新的一期数据治理。以下记录下存储治理的一个问题排查过程。 问题 现阶段业务并没有爆发增长，但是每日新增存储 GAP （每日新增 0.4%）还挺大，结合 80%的总存储水位线，整体集群存储可用时间只剩 100 天！结合业务知识背景，这显然不合理。 排查 现阶段生命周期设置 主要耗费存储的地方在数仓分层底层部分 占用量前 1% 的表占比 90% 的存储。 占用量 千分之一...

任务调度优化经验：细分队列，合理利用调度策略，提升集群资源利用率   相信目前很多生产系统，都使用了多租户模式管理所有进驻大数据平台的应用方，租户模式的优势，想必大家都有所了解，它能够管控租户权限，弹性分配资源，提高数据安全性及计算资源利用率，但Yarn集群中租户的资源调度器分为FairScheduler和CapacityScheduler，本文将探究生产任务的资源开销差异较大、且存在不同优先级的情况下，如何选择调度器，以及配置怎样的调度方式更为合理。 首先简单了解一下两种调度器 FairSchedu...

阿里oneData架构设计 oneData是阿里巴巴内部进行数据整合和管理方法体系和工具。 指导思想 首先，要进行充分的业务调研和需求分析。 其次，进行数据总体架构设计，主要是根据数据域对数据进行划分；按照维度建模理论，构建总线矩阵，抽象出业务过程和维度。 再次，对报表需求进行抽象整理出相关指标体系，使用OneData工具完成指标规范定义和模型设计。 最后，是代码研发和运维。 其实施流程主要分为：数据调研、架构设计、规范定义和模型设计。 数据调研 业务调研 需要确认要规划进数仓的业务领域，...

数据接入 规范，稳定，及时的数据接入是大数据底层体系建设的源头。

接手模块的要求 模块级别 掌握整个模块在系统中的位置，发挥什么样的作用，对用户体验有什么帮助等 掌握整个模块的输入是什么？是如何产生的？对输入有什么要求？格式是怎么样等 掌握这个模块的输出是什么？有怎么样的格式和约定？会被什么模块用到？如果出错会有什么样的影响等 掌握整个模块的运维要点 部署的机器和目录，目录存放的数据等 常见的异常处理流程 对机器的要求 程序的性能参数等 各项配置的含义 算法 掌握整个模块的主要算法，了解其优缺点，基本原理 掌握模块对算法的改进点和修改的地方 掌握目前算...

各种沟通方式的选择 面对面，没有时延且效果好，适合较为紧急的，需要紧密沟通事项 电话，没有时延但效果稍差，适合较为紧急且较为确定，不容易误解的事情 IM，时延较短，分钟级，适合不太紧急，且几句话能说清楚的事情 邮件，时延较长，小时级，有记录，备份功能，适合重要但不紧急的事情，需要双方确认的事情等 总的原则：能够在预期的时延内得到响应，且沟通有效，对对方打扰较少的方式最佳 写email的要点 正确的收件人和抄送方 言简意赅的标题，便于收件人区分 正文要点明确而不啰嗦 对外沟通时，简明扼要解释问题原...

Hive中的join可分为三种，分别是Map-join、Reduce-join和SMB Join，本文简单介绍这三种join的原理和机制。 1.Map-join MapJoin的主要意思就是，当链接的两个表是一个比较小的表和一个特别大的表的时候，我们把比较小的table直接放到内存中去，然后再对比较大的表格进行map操作。join就发生在map操作的时候，每当扫描一个大的table中的数据，就要去去查看小表的数据，哪条与之相符，继而进行连接。这里的join并不会涉及reduce操作。map端join的优...

语法详解 粗体 **粗体** __粗体__ 斜体 *斜体* _斜体_ 标题 # 一级标题 # 一级标题 ==== ## 二级标题 ## 二级标题 ---- ### 三级标题 ### #### 四级标题 #### ##### 五级标题 ##### ###### 六级标题 ###### 分割线 *** --- ^上^角~下~标 上角标 x^2^ 下角标 H~2~0 ++下划线++ 中划线 ++下划线++ ~~中划线~~ ==标记== ==标记== ...