Yezhiwei Blog

平时多流汗，战时少流血！

Redis实现分布式锁

常用的分布式锁实现方式分布式锁一般有三种实现方式：数据库乐观锁；基于 Redis 的分布式锁；基于 ZooKeeper 的分布式锁。分布式锁的可靠性为了确保分布式锁可用，至少要确保锁的实现同时满足以下四个条件：互斥性：在任意时刻，只有一个客户端能持有锁。不会发生死锁：即使有一个客户端在持有锁的期间崩溃而没有主动解锁，也能保证后续其他客户端能加锁（设置超时）。具有容错性...

Posted by Yezhiwei on May 11, 2018

MySQL的四种事务隔离级别

事务的基本要素（ACID）原子性（Atomicity）：事务开始后所有操作，要么全部做完，要么全部不做，不可能停滞在中间环节。事务执行过程中出错，会回滚到事务开始前的状态，所有的操作就像没有发生一样。一致性（Consistency）：事务开始前和结束后，数据库的完整性约束没有被破坏。比如用户A和用户B两者的钱加起来一共是5000，那么不管A和B之间如何转账，转几次账，事务结束后两个用...

Posted by Yezhiwei on May 10, 2018

Spark常用算子实践总结

mapPartitions 与 map 的区别与 map 方法类似，map 是对 rdd 中的每一个元素进行操作，而 mapPartitions(foreachPartition) 则是对 rdd 中的每个分区的迭代器进行操作。如果在 map 过程中需要频繁创建额外的对象，例如将 rdd 中的数据通过 JDBC 连接写入数据库，map 需要为每个元素创建一个 Connection 链接，开...

Posted by Yezhiwei on May 3, 2018

Flume案例——日志分析采集系统

概述大数据平台每天处理业务系统产生的大量日志数据，一般而言，这些系统需要具有以下特征：构建业务系统和日志分析系统的桥梁，并将它们之间的关联解耦；支持近实时的在线分析系统和类似于 Hadoop 之类的离线分析系统；具有高可扩展性。即：当数据量增加时，可以通过增加节点进行水平扩展。日志分析采集系统模块数据采集模块：负责从各节点上实时采集数据，选用 Flume-NG 来实现。 ...

Posted by Yezhiwei on April 25, 2018

Flume安装及配置

Flume 提供了大量内置的 Source、Channel 和 Sink 类型。而且不同类型的 Source、Channel 和 Sink 可以自由组合—–组合方式基于配置文件的设置，非常灵活。比如：Channel 可以把事件暂存在内存里，也可以持久化到本地硬盘上。Sink 可以把日志写入 HDFS、HBase，甚至是另外一个 Source 等。安装下载源码包到 /usr/loca...

Posted by Yezhiwei on April 24, 2018

Flume核心概念

简介 Flume 是一个分布式、可靠、高可用的服务，它能够将不同数据源的海量日志数据进行高效收集、汇聚、移动，最后存储到一个中心化数据存储系统（HDFS、 HBase等）中，它是一个轻量级的工具，简单、灵活、容易部署，适应各种方式日志收集并支持 failover 和负载均衡。功能支持在日志系统中定制各类数据发送方，用于收集数据。 Flume 提供对数据进行简单处理，并写到各种数据接收方...

Posted by Yezhiwei on April 23, 2018

MySQL索引及注意事项

索引规范自增列或全局ID做InnoDB主键，推荐用独立于业务的 AUTO_INCREMENT 列或全局ID生成器做代理主键非唯一索引命名默认为 idx_字段名来命名唯一索引使用 uk_字段名来命名主键索引 pk_ 来命名单张表索引数量建议控制在5个以内合理添加索引可以改善查询，但会减慢更新，并不是索引越多越好，索引字段数最好不超过表字段的20% 字符字段必须建前缀索引， l...

Posted by Yezhiwei on April 8, 2018

MySQL使用规范

赶集网MySQL36条军规 58到家MySQL军规升级版阿里巴巴Java开发手册（终极版）.pdf 参考以上内容及工作中的一些总结表结构设计规范不在数据库做运算，复杂运算移动到程序端，节省数据库服务CPU等资源，同时运算的字段也无法使用索引控制单表数据量，纯 INT 不超过1000W行，含 CHAR 不超过500W行合理分表，如按用户USERID，日期，地区等建议单库不超过...

Posted by Yezhiwei on April 2, 2018

Spark编程基础

准备知识 2017-12-19-Hadoop2.0架构及HA集群配置（1） 2017-12-24-Hadoop2.0架构及HA集群配置（2） 2017-12-25-Spark集群搭建 2017-12-29-Hadoop和Spark的异同 2017-12-28-Spark-HelloWorld(Spark开发环境搭建) Spark快速入门 Spark快速入门-1-Spark on Yar...

Posted by Yezhiwei on March 9, 2018

Kafka进阶

内容为将要在公司分享Kafka的PPT，推荐在wifi环境下阅读本次分享内容包括 1.Message delivery guarantee 分场景进行可能性的描述 2.Partition的重要性及在什么情况下会Rebalance 3.Kafka Stream介绍 4.运行一下Kafka Stream WordCount的demo ...

Posted by Yezhiwei on February 22, 2018