Yezhiwei的博客 | Yezhiwei Blog | Java | Spring | Spring Boot | Spring Cloud | Microservice | SOA | Scala | Spark | Hadoop | 大数据 | 多线程 | 分布式服务架构 | 微服务 | 高可用 | 高并发

开启AI时代，ChatGPT和Whisper API隆重登场！

Posted by Yezhiwei on March 3, 2023

使用 ChatGPT 搭建微信聊天机器人

体验震撼 ChatGPT 近期以强大的对话和信息整合能力风靡全网，可以写代码、写诗、改论文、讲故事、教你谈恋爱等等，几乎无所不能。当然它也有不能干的，比如让它告诉你怎么赚 100 万。。。自从注册了帐号，用上 ChatGPT 发现已经离不开它了哈，有问题第一时间都会想到去 ChatGPT 提问试试。它的回答总感觉就是有一个专业团队为你专门整理答案一样，非常准确又没有广告。 ChatGPT ...

Posted by Yezhiwei on February 7, 2023

手把手教你完成 ChatGPT 注册

ChatGPT 由人工智能公司 Open AI 推出，其对自己的定义是（优化对话的语言模型）非常震撼，近期不断有研究者发布与 ChatGPT 对话的内容，但其不支持中国大陆用户的注册，把我们想尝试进去玩一玩的人拒之门外。这里为大家提供一种注册方式。科学上网环境准备这个不用过多介绍了哈，需要将网络环境切换国外 IP（注意：香港 IP 也是不可以的），否则，你会遇到下图的错误提示。这里建议使...

Posted by Yezhiwei on February 4, 2023

使用 Spring Boot 和 Spring Data JPA 整合时，重复的 bean 被定义了

规范

真正解决方案: A bean with that name has already been defined in null and overriding is disabled. 问题描述在使用 Spring Boot 和Spring Data JPA 整合的时候，新手很可能会看到这样的错误 *************************** APPLICATION FAILED...

Posted by Yezhiwei on January 4, 2023

统一开发工具配置

规范

为什么要统一开发工具理论上无论使用哪个工个都可以，但是之前遇到过这样的情况，有人习惯使用 Eclipse 的自动格式化代码，每次提交代码都有一大堆的变化，仔细对比过后才发现仅是格式变化了，或是 improt 顺序变化了等等，多人提交代码时产生冲突，其实只是格式风险不一样，为了排除类似这样的困扰，使大家编码风格统一，所以，统一使用 IDEA 作为开发工具，代码格式和注释格式统一化。统一编码...

Posted by Yezhiwei on October 26, 2021

大数据 ETL 处理工具 Kettle 常用输入输出

不会写代码也能实现爬虫功能（示例实现了爬取雪球数据）

相比现在流行大数据技术，你可能觉得 Kettle 的使用场景太少了，或者没有必要使用这么个玩意儿，查看了下 github kettle 发现最近也有一些更新，另外，对于没有编程经验的数据使用人员，使用非常简单的 Kettle，通过图形界面设计实现做什么业务，无需写代码去实现，就可以做一些实验，比如：抓取网站上的股票数据、外汇信息等等。 Kettle 支持很多种输入和输出格式，包括文本文件，数...

Posted by Yezhiwei on July 22, 2021

Excel数据模型自动生成Hive建表语句

最近在「空白女侠」公号上看到她回答了大家会困扰的精力问题，比如为什么我（空白女侠）能同时做那么多事情，精力那么充沛？工作中遵循一个真理：复杂的事情简单化，简单的事情标准化，标准的事情流程化，流程化的事情工具化，工具化的事情自动化，无法自动化的事情外包化。数据开发过程中，有些过程是可以工具化来提高工作效率，腾出更多的时间和精力去提高自己（摸鱼～）工具化在日常数据开发过程中，会经常需要根...

Posted by Yezhiwei on July 15, 2021

大数据 ETL 处理工具 Kettle 完成一个作业任务

作业流程什么是作业流程简单一句话，作业流程，即是对转换流程进行调度，也可以嵌套转换流程和作业流程。在第二篇中介绍了一些核心概念，已经知道什么是转换等概念，第一篇中通过一个 HelloWorld 级别的实践，快速体验了一把「转换」的流程。一个作业流程必须包含「START」组件，可以没有「成功」组件，作业流程中可以嵌套转换流程和作业流程，如下图：除了调度转换流程还可以做一些其他...

Posted by Yezhiwei on July 14, 2021

大数据 ETL 处理工具 Kettle 的核心概念

宏观了解 Kettle 上一篇中对 Kettle 进行了简单的介绍，并快速体验了一把 Kettle，完成了「把数据从 CSV 文件复制到 Excel 文件」 HelloWrold 级别的功能。而在实际工作中，可以使用 Kettle 的图形化的方式定义复杂的 ETL 程序和工作流，如下图就是通过一系列的转换（Transformation）完成一个作业（Job）流程。 Kettle 核心概...

Posted by Yezhiwei on July 9, 2021

大数据 ETL 处理工具 Kettle 入门实践

Kettle 简介 ETL（Extract-Transform-Load 的缩写，即数据抽取、转换、装载的过程），对于数据开发人员来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种 ETL 工具的使用，必不可少，这里我们要学习的 ETL 工具就是 Kettle。 Kettle 是什么 Kettle 是一款国外开源的 ETL 工具，对商业用户也没有限制，纯 Java 编写，...

Posted by Yezhiwei on July 6, 2021

Yezhiwei Blog