Yezhiwei的博客 | Yezhiwei Blog | Java | Spring | Spring Boot | Spring Cloud | Microservice | SOA | Scala | Spark | Hadoop | 大数据 | 多线程 | 分布式服务架构 | 微服务 | 高可用 | 高并发

合理的使用缓存提升接口性能

guava cache 保证线程安全的同时，支持高并发场景

背景接口优化，在微服务中调用了另一个服务的接口，这个接口提供一个类似词典的基础数据服务，信息更新又不频繁，对实时性要求不高，如果每次直接访问都去调用一次性能很差，而接口的底层还是每次去 DB 捞一次数据（理论上应该对这个接口进行优化，考虑到要怀疑第三方的态度，还是需要这种方法保护自己的服务不要因为依赖外部资源而导致的宕机），所以考虑对这个接口做一个 cache，理论上就可以大幅度提升接口性...

Posted by Yezhiwei on November 11, 2020

CDH Oozie 邮件配置

通过 Hue 配置工作流 SLA，及时告警

CDH Oozie 邮件配置准备工作，邮件操作 SMTP 配置使用微信企业邮箱进行配置，执行测试任务时报错：Encountered an error while sending the email message over SMTP，错误原因是配置 Oozie 邮箱操作 SMTP 身份验证密码时错误，根据文档多次测试没有成功，改为 163 邮箱，一次性配置成功。网易 163 邮箱...

Posted by Yezhiwei on October 30, 2020

Hive常用函数一

原文链接：https://www.iteblog.com/archives/2258.html 关系运算 1、等值比较: = 语法：A = B 操作类型：所有基本类型描述: 如果表达式 A 与表达式 B 相等，则为 TRUE；否则为 FALSE hive> select 1 from iteblog where 1=1; 1 2、不等值比较: <> 语法: A &...

Posted by Yezhiwei on August 27, 2020

数据仓库之维度模型的核心理念

10分钟简读经典著作 Data Warehouse Toolkit

原文链接：https://www.yejianye.com/2018/05/21/data-warehouse-toolkit/ 背景简读经典著作 Data Warehouse Toolkit，带着问题去读书可以事半功倍。先说说我（这里的“我”指原文作者）读这本书的背景，在 Glow 我们很重视各类数据的采集，也很喜欢用数据说话。在以前的文章中提过，我们目前用于各类产品分析的 Dash...

Posted by Yezhiwei on August 14, 2020

数据仓库之分层模型

原文链接：https://blog.csdn.net/gaixiaoyang123/article/details/103904437 （一）写在前面的话数据仓库中，我们常听到要做分层计算，包括ads、dwd、dws、ads、dim，那为什么要这么区分，有什么意义？今天就来好好讲述一下。（二）传统意义上的数据分成在2012年前后，早期的大数据平台是以Hadoop为核心，数据开发也是...

Posted by Yezhiwei on August 10, 2020

数据仓库之事实表设计

原文链接：https://blog.csdn.net/gaixiaoyang123/article/details/104000982 （一）该如何理解事实表事实表作为维度建模的另一个核心，是紧贴着业务过程来进行设计和描述的。相对于维度表来说，事实表要大的多，由于承载了具体的业务过程，因而变化也非常大。与维度表不同的是，事实表可以存储维度属性信息。事实表通常有三种分类：事务事实表、快照...

Posted by Yezhiwei on August 7, 2020

数据仓库之维度建模篇

原文链接：https://blog.csdn.net/mark_wu2000/article/details/82668787 概述维度建模是一种将数据结构化的逻辑设计方法，它将客观世界划分为度量（事实）和上下文（维度）。度量是常常是以数值形式出现，事实周围有上下文包围着，这种上下文被直观地分成独立的逻辑块，称之为维度。它与实体-关系建模有很大的区别，实体-关系建模是面向应用，遵循第三...

Posted by Yezhiwei on August 5, 2020

微服务使用RESTful时遇到的坑

RESTfulAPI序列化和反序列化遇到的坑

微服务架构概念一个大型复杂的业务系统由一个或多个微服务组成。系统中的各个微服务可被独立部署，各个微服务之间是松耦合的。每个微服务仅关注于完成一件任务并很好地完成该任务。每个任务代表着一个小的业务能力，组合或者复用这些微服务的能力，支撑上层大型复杂的业务系统。解决方案目前流行的微服务架构是基于开源的 Spring Cloud 实现，它提供了一整套的解决方案——服务注册与发现，服务消费，...

Posted by Yezhiwei on July 16, 2020

谨慎使用ArrayList中的subList方法

原文地址：http://cmsblogs.com/?p=1239 subList 的缺陷我们经常使用 subString 方法来对 String 对象进行分割处理，同时我们也可以使用 subList、subMap、subSet 来对 List、Map、Set 进行分割处理，但是这个分割存在某些瑕疵。 subList 返回仅仅只是一个视图首先我们先看如下实例： public stati...

Posted by Yezhiwei on July 14, 2020

数据脱敏-Jackson-Fastjson-Logback

原文地址：https://blog.csdn.net/qq_26418435/article/details/103620548 学习思路分析脱敏场景基于 Fastjson、Jackson、Logback 的各种实现总结文末有代码实现 git 地址、小星星一、分析脱敏场景生产数据，为了保护用户信息，防止用户信息泄露，我们通常需要对数据进行脱敏主要有（手机号、身份证、姓名等...

Posted by Yezhiwei on July 7, 2020

Yezhiwei Blog