Yezhiwei的博客 | Yezhiwei Blog | Java | Spring | Spring Boot | Spring Cloud | Microservice | SOA | Scala | Spark | Hadoop | 大数据 | 多线程 | 分布式服务架构 | 微服务 | 高可用 | 高并发

如何从0到1构建一个稳定、高性能的Redis集群？

原文地址：https://mp.weixin.qq.com/s/q79ji-cgfUMo7H0p254QRg 这篇文章我想和你聊一聊 Redis 的架构演化之路。现如今 Redis 变得越来越流行，几乎在很多项目中都要被用到，不知道你在使用 Redis 时，有没有思考过，Redis 到底是如何稳定、高性能地提供服务的？你也可以尝试回答一下以下这些问题：我使用 Redis 的场景...

Posted by Yezhiwei on March 4, 2021

如何在 Oozie 中创建有依赖的 WorkFlow

原文地址：https://cloud.tencent.com/developer/article/1158324 转载自微信公众号：Hadoop实操 1.文档编写目的在使用 Hue 创建 WorkFlow 时，单个 WorkFlow 中可以添加多个模块的依赖，使各个模块之间在 WorkFlow 内产生依赖关系，如果对于一个 WorkFlow 被其它多个 WorkFlow 依赖（如：A...

Posted by Yezhiwei on November 25, 2020

Hive利用宏自定义简短的函数

背景 Hive SQL 代码的可读性一直是个问题哈，因为业务比较复杂，一般情况下写出来的代码也会很冗长，存在重复的逻辑，本篇通过一个工作过程中的示例来优化一下重复逻辑的问题，希望能够写出可读性更好的代码。重复代码及问题通过股票代码来判断所属市场，代码片段如下： ..... CASE WHEN substr( a.symbol, 1, 3 ) = '000' THEN '深圳主...

Posted by Yezhiwei on November 24, 2020

Hive的优化原则

原文链接：https://zhuanlan.zhihu.com/p/174469951 本篇将 Hive 的优化分成三个部分: 第一部分是 SQL 通用语法优化，第二部分是针对 Hive 所具有的数据倾斜的优化，第三部分则介绍一些通用性的 Hive 参数设置优化。一、语法优化 SQL 的语法优化本质上是如何用更少的计算资源干相同的活，基于此延伸出几条原则，这几条原则又拓展出对应...

Posted by Yezhiwei on November 20, 2020

合理的使用缓存提升接口性能

guava cache 保证线程安全的同时，支持高并发场景

背景接口优化，在微服务中调用了另一个服务的接口，这个接口提供一个类似词典的基础数据服务，信息更新又不频繁，对实时性要求不高，如果每次直接访问都去调用一次性能很差，而接口的底层还是每次去 DB 捞一次数据（理论上应该对这个接口进行优化，考虑到要怀疑第三方的态度，还是需要这种方法保护自己的服务不要因为依赖外部资源而导致的宕机），所以考虑对这个接口做一个 cache，理论上就可以大幅度提升接口性...

Posted by Yezhiwei on November 11, 2020

CDH Oozie 邮件配置

通过 Hue 配置工作流 SLA，及时告警

CDH Oozie 邮件配置准备工作，邮件操作 SMTP 配置使用微信企业邮箱进行配置，执行测试任务时报错：Encountered an error while sending the email message over SMTP，错误原因是配置 Oozie 邮箱操作 SMTP 身份验证密码时错误，根据文档多次测试没有成功，改为 163 邮箱，一次性配置成功。网易 163 邮箱...

Posted by Yezhiwei on October 30, 2020

Hive常用函数一

原文链接：https://www.iteblog.com/archives/2258.html 关系运算 1、等值比较: = 语法：A = B 操作类型：所有基本类型描述: 如果表达式 A 与表达式 B 相等，则为 TRUE；否则为 FALSE hive> select 1 from iteblog where 1=1; 1 2、不等值比较: <> 语法: A &...

Posted by Yezhiwei on August 27, 2020

数据仓库之维度模型的核心理念

10分钟简读经典著作 Data Warehouse Toolkit

原文链接：https://www.yejianye.com/2018/05/21/data-warehouse-toolkit/ 背景简读经典著作 Data Warehouse Toolkit，带着问题去读书可以事半功倍。先说说我（这里的“我”指原文作者）读这本书的背景，在 Glow 我们很重视各类数据的采集，也很喜欢用数据说话。在以前的文章中提过，我们目前用于各类产品分析的 Dash...

Posted by Yezhiwei on August 14, 2020

数据仓库之分层模型

原文链接：https://blog.csdn.net/gaixiaoyang123/article/details/103904437 （一）写在前面的话数据仓库中，我们常听到要做分层计算，包括ads、dwd、dws、ads、dim，那为什么要这么区分，有什么意义？今天就来好好讲述一下。（二）传统意义上的数据分成在2012年前后，早期的大数据平台是以Hadoop为核心，数据开发也是...

Posted by Yezhiwei on August 10, 2020

数据仓库之事实表设计

原文链接：https://blog.csdn.net/gaixiaoyang123/article/details/104000982 （一）该如何理解事实表事实表作为维度建模的另一个核心，是紧贴着业务过程来进行设计和描述的。相对于维度表来说，事实表要大的多，由于承载了具体的业务过程，因而变化也非常大。与维度表不同的是，事实表可以存储维度属性信息。事实表通常有三种分类：事务事实表、快照...

Posted by Yezhiwei on August 7, 2020

Yezhiwei Blog