Yezhiwei的博客 | Yezhiwei Blog | Java | Spring | Spring Boot | Spring Cloud | Microservice | SOA | Scala | Spark | Hadoop | 大数据 | 多线程 | 分布式服务架构 | 微服务 | 高可用 | 高并发

Scala快速入门-2-控制结构与函数

条件表达式、循环、for、函数

背景表达式有值，语句执行动作。 Scala中，几乎所有构造出来的语法结构都有值，不像Java中把表达式和语句（if语句）分为两类。在这里if表示式有值。代码块也有值，最后一个表达式就是值。语句中，分号不是必需的。函数式中不使用return。条件表达式在Scala中if/else表达式有值，这个值就是在if或else之后的表达式的值。 scala> var x = ...

Posted by Yezhiwei on January 1, 2018

Scala快速入门-1-声明变量

声明变量、常用类型

背景因为Spark是由Scala开发的，所以在开发Spark应用程序之前要对Scala语言学习。虽然Spark也支持Java、Python语言，但是作为一名Java程序猿，还是决定要学习Scala哈。 Scala是运行在JVM上一门语言。开发效率非常高、语法丰富简洁，三两行Scala代码能搞定Java要写的一大坨代码。 Scala的语法糖太甜～～ Scala特性面向对象特性 Sca...

Posted by Yezhiwei on December 30, 2017

Hadoop和Spark的异同

解决问题的层面不一样 Hadoop和Spark两者都是大数据框架，但是各自存在的目的不尽相同。 Hadoop实质上是解决大数据大到无法在一台计算机上进行存储、无法在要求的时间内进行处理的问题，是一个分布式数据基础设施。 HDFS，它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，通过将块保存到多个副本上，提供高可靠的文件存储。 MapReduce，通过简单的Mapper...

Posted by Yezhiwei on December 29, 2017

IntelliJ-IDEA-Maven-Scala-Spark开发环境搭建

背景几乎所有编程语言的第一个程序都是 Hello World。下载并安装JDK、Scala、Maven 之前的Hadoop HA 和 Spark集群的文章中已经安装过JDK、Scala。Maven安装也很简单，略。下载Idea并安装Scala插件在线安装有点慢，但网上很多方法解决，略。创建一个maven-scala工程按向导一步步填写、下一步。修改pom.xml文...

Posted by Yezhiwei on December 28, 2017

Spark集群搭建

背景基础软件安装 JDK 1.7（之前已经安装过） scala-2.11.4 spark-1.6.0-bin-hadoop2.6 集群ssh免密登录配置（之前已经安装过）服务器分布及相关说明由于目前只有3台虚拟机，所以分配如下：服务器角色/服务器 Master(192.168.111.238) Slave1(192.168.111.239) Slave2(192.168.1...

Posted by Yezhiwei on December 25, 2017

Hadoop2.0架构及HA集群配置（2）

HA集群配置搭建

背景在Hadoop2.0中通常由两个NameNode组成，一个处于Active状态，另一个处于Standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步Active NameNode的状态，以便能够在它失败时快速进行切换。 Hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。我们使用...

Posted by Yezhiwei on December 24, 2017

JPA和MyBatis如何进行技术选型

背景在我们平时的项目中，大家都知道可以使用JPA或者Mybatis作为ORM 层。对JPA和Mybatis如何进行技术选型？（http://www.spring4all.com/question/112）我将从以下几个方面进行总结。 MySQL数据库使用规范核心规范不在数据库中做运算，复杂运算移到程序端进行。控制单表数据量，建议单库不超300-400个表，单表不超过50个纯INT...

Posted by Yezhiwei on December 23, 2017

SpringBoot-Spring-Data-REST修改默认配置

定制化的操作实现

背景在上一篇中除去配置类和实体类，写了两行代码，就实现了RESTful风格的接口，但在实际使用时，还需要一些额外的处理，比如在返回的数据中，password这类敏感字段是不应该返回的；删除操作，实际需求不是硬删除只是更新一个删除状态；保存对象操作之前需要做相应的数据校验和数据格式的转换等等，自动转换成REST服务，是否支持自定义功能？分页+排序查询(这个与以往的习惯有点不同) http:...

Posted by Yezhiwei on December 22, 2017

微信支付退款异常处理过程

PKIX path building failed

异常信息 javax.net.ssl.SSLHandshakeException: sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid cert...

Posted by Yezhiwei on December 21, 2017

Hadoop2.0架构及HA集群配置（1）

Hadoop2.0新特性 NameNode HA NameNode Federation HDFS快照 HDFS缓存 HDFS ACL NameNode HA 背景 Hadoop 1.0中NameNode在整个HDFS中只有一个，存在单点故障风险,一旦NameNode挂掉，整个集群无法使用通过HDFS的高可用性将通过在同一个集群中运行两个NameNode (active NameNo...

Posted by Yezhiwei on December 19, 2017

Yezhiwei Blog