Yezhiwei的博客 | Yezhiwei Blog | Java | Spring | Spring Boot | Spring Cloud | Microservice | SOA | Scala | Spark | Hadoop | 大数据 | 多线程 | 分布式服务架构 | 微服务 | 高可用 | 高并发

数据仓库开发规范

00背景规范约束是数仓建设的全流程，以及后续的迭代和运维的参照。事实上，数仓规范文档，应该随着架构设计文档，在数仓开发启动之前，分发给所有相关人员，且是所有人都必须严格遵守的约定。有人会问，没有规范直接开干，行吗？当然可以，在一些临时的短期项目，为了快速出活尽快看到效果，没有必要强制执行规范而影响了效率。但从个人专业素养的角度看，即使项目没有规范，该有的约定俗成的好习惯还是得有的，比如缩...

Posted by Yezhiwei on June 20, 2021

从0到1，四步搭建高价值指标体系

一、搭建指标体系应该从何开始着手搭建指标体系前，先思考一下为什么要搭建指标体系。德国哲学家马克斯·韦伯在谈到人的理性思考时曾提出两个概念：工具理性和价值理性。工具理性是指，针对确定的目标，找到最有效的做事手段；价值理性是指，针对要达到的这个目标做价值判断，是要先衡量目标的价值。工具理性和价值理性只是角度不同，并无深浅或好坏之分，针对搭建指标体系这件事，作为数据分析师，我希望结果...

Posted by Yezhiwei on June 15, 2021

Uber的数据治理

数据赋能 Uber Uber 通过赋能数十亿打车和快递服务，连接数以百万计的乘客、企业、餐馆、司机和快递员，彻底改变了世界的出行方式。这个庞大的交通平台的核心是大数据和数据科学，它们支撑着 Uber 的所有工作，比如更好的定价和匹配、欺诈检测、降低预计达到时间（ETA）和实验。每天 PB 级的数据被收集和处理，成千上万用户根据这些数据进行分析决策，从而构建 / 改进这些产品。规模扩展带来...

Posted by Yezhiwei on May 16, 2021

RabbitMQ消息100%投递的解决方案

一、前言现在大多都使用 MQ 来做系统的异构，来做系统的解耦，系统的的模块相当于寄信者与收信者，MQ 则扮演者邮局的角色。作为一个中转的角色，就需要确保消息的100%投递。今天我们就来研究一下如何确保消息的100%的投递。二、先谈谈 RabbitMQ 的特性 RabbitMQ 所做的确保是：只要你把消息投递到 Broker 中，那么我就确保这个消息会送达到消费者的手中。当然这是有前提...

Posted by Yezhiwei on March 17, 2021

RabbitMQ 的核心概念

概述 RabbitMQ 是采用 Erlang 语言实现 AMQP （Advanced Message Queuing Protocol，高级消息队列协议）的消息中间件，它最初起源于金融系统，用于在分布式系统中存储转发消息，RabbitMQ 凭借其高可靠、易扩展、高可用及丰富的功能特性受到越来越多企业的青睐。 RabbitMQ特性可靠性 RabbitMQ 使用一些机制来保证可靠性，如持...

Posted by Yezhiwei on March 16, 2021

合理设置RabbitMQ的并发参数，防止消息堆积

RabbitMQ消息堆积优化方案

版本信息： JDK：8 SpringBoot 2.1.3.RELEASE RabbitMQ消费端配置 spring: rabbitmq: host: localhost port: 5672 username: guest password: guest listener: simple: # acknowledge-...

Posted by Yezhiwei on March 15, 2021

JVM垃圾收集器

对象搜索算法与回收算法垃圾回收（GC）是JVM的一大杀器，它使程序员可以更高效地专注于程序的开发设计，而不用过多地考虑对象的创建销毁等操作。但是，当需要排查各种内存溢出、内存泄漏问题时，当垃圾收集成为系统达到更高并发量的瓶颈时，如果对GC不了解，很可能会成为个人的发展瓶颈。学习垃圾收集需要完成以下三件事情：哪些内存需要回收? 什么时候回收? 如何回收? 对象已死？——GC对象搜索...

Posted by Yezhiwei on March 9, 2021

认识长轮询：配置中心是如何实现推送的？

用了这么久配置中心，还不知道长轮询是什么？

前言传统的静态配置方式想要修改某个配置时，必须重新启动一次应用，如果是数据库连接串的变更，那可能还容易接受一些，但如果变更的是一些运行时实时感知的配置，如某个功能项的开关，重启应用就显得有点大动干戈了。配置中心正是为了解决此类问题应运而生的，特别是在微服务架构体系中，更倾向于使用配置中心来统一管理配置。配置中心最核心的能力就是配置的动态推送，常见的配置中心如 Nacos、Apollo 等...

Posted by Yezhiwei on March 8, 2021

用了SpringBoot+RabbitMQ消息确认机制，我感觉掉坑里了

RabbitMQ消息堆积与消息丢失优化方案

原文地址：https://www.cnblogs.com/chengxy-nds/p/13217828.html 最近部门号召大伙多组织一些技术分享会，说是要活跃公司的技术氛围，但早就看穿一切的我知道，这 T M 就是为了刷KPI。不过，话说回来这的确是件好事，与其开那些没味的扯皮会，多做技术交流还是很有助于个人成长的。于是乎我主动报名参加了分享，咳咳咳~ ，真的不是为了那点KPI，就...

Posted by Yezhiwei on March 7, 2021

从0到1编写一个RPC框架（基于Zookeeper）

原文地址：http://www.iloveqyc.com/2019/04/06/air-rpc/ 零、前言这是我很久之前造的一个RPC轮子，名叫AirRPC，它基于zookeeper，和阿里dubbo、美团pigeon等框架比较类似（毕竟RPC框架原理都一样）。源码在github上，有兴趣的同学可以看看：https://github.com/qiuyongchen/AirRPC。下面...

Posted by Yezhiwei on March 5, 2021

Yezhiwei Blog