Skip to main content

Command Palette

Search for a command to run...

Spring Boot下如何记录SQL语句、SQL参数、慢SQL日志

Updated
Spring Boot下如何记录SQL语句、SQL参数、慢SQL日志

在我们程序在访问数据库,出现bug或者性能问题的时候,我们希望把SQL语句以及参数都打印出来,以便于我们定位bug和性能问题。

你可能会使用的方式

通常情况下,以使用Spring Data JPA和Hibernate为例(别走开,方案是和数据库访问技术无关的,理论上Mybatis,JDBC都可以使用),我们在application.yaml 里配置使用:

spring.jpa.show-sql: true

但这样的设置只能在开发测试环境里设置,因为使用此属性等同于使用System.out.println打印SQL语句,这将会有性能的问题。而且也不能显示SQL的参数。

或者我们通过设置Hibernate属性在application.yaml配置:

logging.level.org.hibernate.SQL: debug
logging.level.org.hibernate.type.descriptor.sql: trace

这个方案比上面的方案好一些,但是也有几个问题:

  1. 在批处理情况,不清楚有多少语句实际发送到数据库服务器,因为日志消息是在准备阶段打印的,而不是在调用executeBatch方法时打印的。
  2. org.hibernate.type.descriptor.sql只能记录内置的Hibernate核心类型,如果你使用自定义的类型,将不会被打印。

现在我们介绍一个开源项目,叫做:datasource-proxy,地址: https://github.com/jdbc-observations/datasource-proxy

它提供了一个JDBC的DataSource 的代理:ProxyDataSource ,这就意味着它可以用在任何在Spring Boot下的数据访问技术,如:JPA、Mybatis等。就算混合使用多种数据访问技术,datasource-proxy也能打印所有的通过JDBC连接的语句。

使用datasource-proxy

  • 新建演示项目

image.png

  • 添加相关依赖 我们可以直接添加datasource-proxy的依赖,然后自己通过ProxyDataSourceBuilder 来创建ProxyDataSource。不过我们并不需要这样做,因为已经有人给我们写好了datasource-proxy的Spring Boot Starter,我们直接使用这个starter就可以直接自动配置好datasource-proxy。starter的地址: https://github.com/gavlyukovskiy/spring-boot-data-source-decorator 。

Gradle

implementation 'com.github.gavlyukovskiy:datasource-proxy-spring-boot-starter:1.8.1'

或Maven

<dependency>
    <groupId>com.github.gavlyukovskiy</groupId>
    <artifactId>datasource-proxy-spring-boot-starter</artifactId>
    <version>1.8.1</version>
</dependency>
  • 简单的数据访问演示类
@Data
@Entity
@AllArgsConstructor
@NoArgsConstructor
public class Person {

    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String name;
    private Integer age;
}
public interface PersonRepository extends JpaRepository <Person, Long> {
    List<Person> findByNameStartsWith(String name);
}
  • 简单的数据访问查询测试
@SpringBootApplication
public class LoggingSqlApplication {

   public static void main(String[] args) {
      SpringApplication.run(LoggingSqlApplication.class, args);
   }

   @Bean
   CommandLineRunner commandLineRunner(PersonRepository personRepository){
      return args -> {
         personRepository.save(new Person(null,"wiselyman001", 18));
         personRepository.save(new Person(null,"wiselyman002", 18));
         personRepository.save(new Person(null,"wiselyman003", 18));
         personRepository.save(new Person(null,"wiselyman004", 18));
         personRepository.findByNameStartsWith("wiselyman");
      };
   }
}
  • datasource-proxy的核心配置

datasource-proxy-spring-boot-starter 为我们提供了一个DataSourceProxyProperties来配置DataSourceProxy ,我们可以通过application.yaml 来配置。如:

# 设置日志库,默认为slf4j(slf4j, jul, common, sysout)
decorator.datasource.datasource-proxy.logging: slf4j

# 开启所有的查询到日志,默认为true
decorator.datasource.datasource-proxy.query.enable-logging: true
decorator.datasource.datasource-proxy.query.log-level: debug
# 日志名称设置
decorator.datasource.datasource-proxy.query.logger-name:

# 设置慢SQL的情况,慢SQL的日志级别是WARN
decorator.datasource.datasource-proxy.slow-query.enable-logging: true
decorator.datasource.datasource-proxy.slow-query.log-level: warn
decorator.datasource.datasource-proxy.slow-query.logger-name:
# 设置被认为是慢sql的时间并用日志记录下来
decorator.datasource.datasource-proxy.slow-query.threshold: 300

decorator.datasource.datasource-proxy.multiline: true
decorator.datasource.datasource-proxy.json-format: false
# 开启查询指标
decorator.datasource.datasource-proxy.count-query: false

上面是默认配置,若满足要求无需单独进行设置。

如我们没有特殊的定制,我们只需在application.yaml加上即可使用:

logging.level.net.ttddyy.dsproxy.listener: debug

运行程序

Name:dataSource, Connection:3, Time:36, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman001)]
2022-10-17 17:13:16.907 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:4, Time:34, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman002)]
2022-10-17 17:13:17.041 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:5, Time:33, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman003)]
2022-10-17 17:13:17.183 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:6, Time:36, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman004)]
2022-10-17 17:13:17.407 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:7, Time:37, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["select person0_.id as id1_0_, person0_.age as age2_0_, person0_.name as name3_0_ from person person0_ where person0_.name like ? escape ?"]
Params:[(wiselyman%,\)]

感谢支持我的书:《从企业级开发到云原生微服务:Spring Boot实战》

头条原文地址:https://www.toutiao.com/article/7153135743584551438/

参考资料:

https://github.com/jdbc-observations/datasource-proxy

https://github.com/gavlyukovskiy/spring-boot-data-source-decorator

https://vladmihalcea.com/the-best-way-to-log-jdbc-statements/

https://vladmihalcea.com/log-sql-spring-boot/

More from this blog

用Java 17的Records加速Spring Boot开发

在《Spring Boot 2.6新特性:使用Java 17的Record作为配置属性》,我们提到了使用Java Records来作为Spring Boot的配置属性(configuration properties),从而减少了大量样板代码的编写,我们本篇将进一步拓展Records在Spring Boot下的应用场景,从而进一步减少我们的样板代码,使代码看上去更简洁清晰。 1、什么是Records record是一种特殊类型的类声明,目的是为了减少样板代码。record引入的主要目的是快速创...

Nov 11, 2022
用Java 17的Records加速Spring Boot开发

Spring Boot 2.6新特性:使用Java 17的Record作为配置属性

Spring Boot 3.0的基线版本是Java 17,Spring Boot 3.0版本将全面对Java 17的支持。较新版本的2.x的Spring Boot版本也可以使用Java 17的特性。 本文介绍Spring Boot 2.6对Java 17支持的一个新特性,使用Java 17的Record来做为Spring Boot的配置属性(ConfiguartionProperties)。 什么是Record record是一种特殊类型的类声明,目的是为了减少样板代码。record引入的主要目...

Nov 3, 2022
Spring Boot 2.6新特性:使用Java 17的Record作为配置属性

使用Gradle全面加速Spring Boot开发

大家都知道Gradle和Maven一样,是一个项目的构建工具。它通过任务来控制开发的进程,这些任务包括:编译、打包、测试、部署和发布等。Gradle诞生于2008年,仅仅比Maven晚4年。Android也采用Gradle作为默认的构建工具。 本文期望通过以下的讲述,帮助你快速轻松的使用Gradle加速您的Spring Boot开发应用。 1、Gradle越来越流行 2012年开始,Spring框架已全部使用Gradle来构建;2020年开始,Spring Boot也全部采用Gradle来构建...

Oct 31, 2022
使用Gradle全面加速Spring Boot开发

Spring/Spring Boot下如何动态配置计划任务

在Spring/Spring Boot下实现计划任务是很简单的,我们只需通过@EnableScheduling 开启计划任务的支持,然后通过@Scheduled 注解来制定计划任务,这样的实现解决了我们对计划任务的绝大部分需求。 但在很多时候,通过上述方式实现的计划任务是在代码里写死的,我们需要修改计划任务只能通过修改代码的方式实现。很多时候,我们需要从外部来设置计划任务执行的时间和方式。所以在本文中,我们着重讲解一下如何动态地配置计划任务。 和Spring对异步任务的支持一样,通过@Enabl...

Oct 29, 2022
Spring/Spring Boot下如何动态配置计划任务

Spring 6/Spring Boot 3新特性:优雅的业务异常处理

当你使用Spring Boot(Spring MVC)进行RESTful API开发的时候,你会发现HTTP的状态码很多时候不能足够有效的传递错误的信息。 HTTP里有一个RFC 7807规范:https://www.rfc-editor.org/rfc/rfc7807。这个规范里定义了HTTP API的“问题细节”(Problem Details)内容。 该规范定义了一个“问题细节”(Problem Details),用它来携带HTTP错误返回信息,避免自定义新的错误返回格式。我们通常情况下是...

Oct 28, 2022
Spring 6/Spring Boot 3新特性:优雅的业务异常处理

汪云飞的工具箱

24 posts