汪云飞's blog

Spring Boot下如何记录SQL语句、SQL参数、慢SQL日志

Spring Boot下如何记录SQL语句、SQL参数、慢SQL日志

yunfei wang's photo
yunfei wang
·

2 min read

在我们程序在访问数据库，出现bug或者性能问题的时候，我们希望把SQL语句以及参数都打印出来，以便于我们定位bug和性能问题。

你可能会使用的方式

通常情况下，以使用Spring Data JPA和Hibernate为例（别走开，方案是和数据库访问技术无关的，理论上Mybatis，JDBC都可以使用），我们在application.yaml 里配置使用：

spring.jpa.show-sql: true

但这样的设置只能在开发测试环境里设置，因为使用此属性等同于使用System.out.println打印SQL语句，这将会有性能的问题。而且也不能显示SQL的参数。

或者我们通过设置Hibernate属性在application.yaml配置：

logging.level.org.hibernate.SQL: debug
logging.level.org.hibernate.type.descriptor.sql: trace

这个方案比上面的方案好一些，但是也有几个问题：

  1. 在批处理情况，不清楚有多少语句实际发送到数据库服务器，因为日志消息是在准备阶段打印的，而不是在调用executeBatch方法时打印的。
  2. org.hibernate.type.descriptor.sql只能记录内置的Hibernate核心类型，如果你使用自定义的类型，将不会被打印。

现在我们介绍一个开源项目，叫做：datasource-proxy，地址： https://github.com/jdbc-observations/datasource-proxy 。

它提供了一个JDBC的DataSource 的代理：ProxyDataSource ，这就意味着它可以用在任何在Spring Boot下的数据访问技术，如：JPA、Mybatis等。就算混合使用多种数据访问技术，datasource-proxy也能打印所有的通过JDBC连接的语句。

使用datasource-proxy

  • 新建演示项目

image.png

  • 添加相关依赖 我们可以直接添加datasource-proxy的依赖，然后自己通过ProxyDataSourceBuilder 来创建ProxyDataSource。不过我们并不需要这样做，因为已经有人给我们写好了datasource-proxy的Spring Boot Starter，我们直接使用这个starter就可以直接自动配置好datasource-proxy。starter的地址： github.com/gavlyukovskiy/spring-boot-data-s.. 。

Gradle

implementation 'com.github.gavlyukovskiy:datasource-proxy-spring-boot-starter:1.8.1'

或Maven

<dependency>
    <groupId>com.github.gavlyukovskiy</groupId>
    <artifactId>datasource-proxy-spring-boot-starter</artifactId>
    <version>1.8.1</version>
</dependency>
  • 简单的数据访问演示类
@Data
@Entity
@AllArgsConstructor
@NoArgsConstructor
public class Person {

    @Id
    @GeneratedValue(strategy = GenerationType.IDENTITY)
    private Long id;
    private String name;
    private Integer age;
}
public interface PersonRepository extends JpaRepository <Person, Long> {
    List<Person> findByNameStartsWith(String name);
}
  • 简单的数据访问查询测试
@SpringBootApplication
public class LoggingSqlApplication {

   public static void main(String[] args) {
      SpringApplication.run(LoggingSqlApplication.class, args);
   }

   @Bean
   CommandLineRunner commandLineRunner(PersonRepository personRepository){
      return args -> {
         personRepository.save(new Person(null,"wiselyman001", 18));
         personRepository.save(new Person(null,"wiselyman002", 18));
         personRepository.save(new Person(null,"wiselyman003", 18));
         personRepository.save(new Person(null,"wiselyman004", 18));
         personRepository.findByNameStartsWith("wiselyman");
      };
   }
}
  • datasource-proxy的核心配置

datasource-proxy-spring-boot-starter 为我们提供了一个DataSourceProxyProperties来配置DataSourceProxy ，我们可以通过application.yaml 来配置。如：

# 设置日志库，默认为slf4j(slf4j, jul, common, sysout)
decorator.datasource.datasource-proxy.logging: slf4j

# 开启所有的查询到日志，默认为true
decorator.datasource.datasource-proxy.query.enable-logging: true
decorator.datasource.datasource-proxy.query.log-level: debug
# 日志名称设置
decorator.datasource.datasource-proxy.query.logger-name:

# 设置慢SQL的情况，慢SQL的日志级别是WARN
decorator.datasource.datasource-proxy.slow-query.enable-logging: true
decorator.datasource.datasource-proxy.slow-query.log-level: warn
decorator.datasource.datasource-proxy.slow-query.logger-name:
# 设置被认为是慢sql的时间并用日志记录下来
decorator.datasource.datasource-proxy.slow-query.threshold: 300

decorator.datasource.datasource-proxy.multiline: true
decorator.datasource.datasource-proxy.json-format: false
# 开启查询指标
decorator.datasource.datasource-proxy.count-query: false

上面是默认配置，若满足要求无需单独进行设置。

如我们没有特殊的定制，我们只需在application.yaml加上即可使用：

logging.level.net.ttddyy.dsproxy.listener: debug

运行程序

Name:dataSource, Connection:3, Time:36, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman001)]
2022-10-17 17:13:16.907 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:4, Time:34, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman002)]
2022-10-17 17:13:17.041 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:5, Time:33, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman003)]
2022-10-17 17:13:17.183 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:6, Time:36, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["insert into person (age, name) values (?, ?)"]
Params:[(18,wiselyman004)]
2022-10-17 17:13:17.407 DEBUG 12740 --- [           main] n.t.d.l.l.SLF4JQueryLoggingListener      : 
Name:dataSource, Connection:7, Time:37, Success:True
Type:Prepared, Batch:False, QuerySize:1, BatchSize:0
Query:["select person0_.id as id1_0_, person0_.age as age2_0_, person0_.name as name3_0_ from person person0_ where person0_.name like ? escape ?"]
Params:[(wiselyman%,\)]

感谢支持我的书：《从企业级开发到云原生微服务:Spring Boot实战》

头条原文地址：https://www.toutiao.com/article/7153135743584551438/

参考资料：

https://github.com/jdbc-observations/datasource-proxy

https://github.com/gavlyukovskiy/spring-boot-data-source-decorator

https://vladmihalcea.com/the-best-way-to-log-jdbc-statements/

https://vladmihalcea.com/log-sql-spring-boot/

SpringbootSpring Data Jpahibernate