我在 Spring Batch 中的 JobRepository 上使用 SERIALIZED 隔离级别收到此异常:
org.springframework.dao.CannotSerializeTransactionException: PreparedStatementCallback; SQL [INSERT into DATAFEED_APP.BATCH_JOB_INSTANCE(JOB_INSTANCE_ID, JOB_NAME, JOB_KEY, VERSION) values (?, ?, ?, ?)]; ORA-08177: can't serialize access for this transaction
;嵌套异常是 java.sql.SQLException: ORA-08177: 无法序列化此事务的访问
at org.springframework.jdbc.support.SQLErrorCodeSQLExceptionTranslator.doTranslate(SQLErrorCodeSQLExceptionTranslator.java:269)
at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:72)
at org.springframework.jdbc.core.JdbcTemplate.execute(JdbcTemplate.java:603)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:812)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:868)
at org.springframework.jdbc.core.JdbcTemplate.update(JdbcTemplate.java:872)
at org.springframework.batch.core.repository.dao.JdbcJobInstanceDao.createJobInstance(JdbcJobInstanceDao.java:105)
at org.springframework.batch.core.repository.support.SimpleJobRepository.createJobExecution(SimpleJobRepository.java:135)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:110)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.batch.core.repository.support.AbstractJobRepositoryFactoryBean$1.invoke(AbstractJobRepositoryFactoryBean.java:172)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
at $Proxy27.createJobExecution(Unknown Source)
at org.springframework.batch.core.launch.support.SimpleJobLauncher.run(SimpleJobLauncher.java:124)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
at java.lang.reflect.Method.invoke(Method.java:597)
at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
at org.springframework.batch.core.configuration.annotation.SimpleBatchConfiguration$PassthruAdvice.invoke(SimpleBatchConfiguration.java:117)
at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
at $Proxy61.run(Unknown Source)
仅运行一项作业时,没有其他并行作业。当我将 JobRepository 的隔离级别更改为 ISOLATION_READ_COMMITTED 时,异常消失了。
这个异常的原因是什么?
该方法的默认隔离级别是 SERIALIZABLE,即 相当激进:READ_COMMITTED 也同样有效; 如果两个进程不太可能,那么 READ_UNCOMMITTED 就可以了 以这种方式碰撞。但是,由于对 create* 方法的调用是 很短,序列化不太可能导致问题, 只要数据库平台支持就可以.
我也遇到了同样的问题,在 jobRepository 级别进行有效隔离是关键,这是一个适合我的代码示例:
<batch:job-repository id="jobRepository"
data-source="dataSource" transaction-manager="transactionManager"
isolation-level-for-create="READ_COMMITTED" table-prefix="SB_" />
使用序列化事务时,您需要根据 Oracle Docs 增加表上的 initrans 参数。要处理序列化事务,这需要 3 个或更多。
alter table BATCH_.... INITRANS 3
在 Spring Batch 应用程序 (Spring Boot 2.3.3) 中遇到同样的问题。解决方案是:
从配置数据源的
@EnableTransactionManagement
类中删除 @Configuration
。 (@Transactional
也应该被删除。)
将以下内容添加到application.yaml
批次: 存储库: 创建的隔离级别:ISOLATION_READ_COMMITTED
我们尝试将 INI_TRANS 提升到 100,但仍然遇到问题
我发现这篇文章建议在创建表时添加 ROWDEPENDENCIES。
http://www.devx.com/dbzone/Article/41591?pf=true
对于我来说,INI_TRANS 和现在的 ROWDEPENDENCIES 序列化的例外情况已经消失。
更新:事实证明这不是一个完美的解决方案。我们确实在一夜之间发生了一次这种序列化异常的事件。现在好多了,因为在一次失败之前我们已经运行了 100 次,但看起来使用 ROWDEPENDENCIES 还不是一个完整的解决方案。
我已经找到了解决此问题的方法。
按照以下步骤操作。
BATCH_JOB_INSTANCE
、BATCH_JOB_EXECUTION
和BATCH_JOB_EXECUTION_PARAMS
表中插入一些虚拟记录。 (别忘了承诺)我能够通过添加isolationLevelForCreate来解决此错误,如下所示:
<bean id="jobRepository" class="org.springframework.batch.core.repository.support.JobRepositoryFactoryBean">
<property name="databaseType" value="ORACLE"/>
<property name="dataSource" ref="dataSource" />
<property name="transactionManager" ref="transactionManager" />
<property name="isolationLevelForCreate" value="ISOLATION_READ_UNCOMMITTED"/>
</bean>
我能够将问题追溯到在创建表语句中使用“PRIMARY KEY”限定符并结合 Oracle 事务隔离级别“SERIALIZABLE”。 可以使用这个简单的 SQL 脚本来测试这一点:
CREATE TABLE test1 (
test_id NUMBER(1) NOT NULL PRIMARY KEY
);
SET TRANSACTION ISOLATION LEVEL SERIALIZABLE;
INSERT INTO test1 VALUES ( 1 );
COMMIT;
结果:ORA-08177 错误。
根本原因::
该问题与 Spring Batch 代码无关,而是与 Oracle 自 11.2 版以来创建表的方式有关 - 有关详细信息,请参阅此处:https://oracle-base.com/articles/11g/segment-creation-on-需求-11gr2).
可以在此处找到一般问题的详细说明:https://asktom.oracle.com/pls/apex/asktom.search?tag=isolation-level-serialization
我使用的解决方案:
在上面的创建子句中添加“SEGMENT CREATION IMMEDIATE”解决了问题:
CREATE TABLE test1 (
test_id NUMBER(1) NOT NULL PRIMARY KEY
)
SEGMENT CREATION IMMEDIATE;
相应地,我将相同的内容添加到 Spring Batch 作业存储库的所有“CREATE TABLE”语句中,并且一切正常。
将database.maximumPoolSize大小从3增加到5解决了该错误。
我的情况是当数据库端发生问题时,重新运行也有同样的问题。
为了解决这个问题,我清理了下面的所有表格,然后重新运行似乎没问题。
您可以使用以下配置:
@Configuration
public class BatchBean {
@Bean
public JobRepository jobRepository(DataSource dataSource, PlatformTransactionManager transactionManager) throws Exception {
JobRepositoryFactoryBean jobRepositoryFactoryBean = new JobRepositoryFactoryBean();
jobRepositoryFactoryBean.setDataSource(dataSource);
jobRepositoryFactoryBean.setTransactionManager(transactionManager);
jobRepositoryFactoryBean.setIsolationLevelForCreate("ISOLATION_READ_COMMITTED");
jobRepositoryFactoryBean.afterPropertiesSet();
return jobRepositoryFactoryBean.getObject();
}
@Bean
public PlatformTransactionManager transactionManager(EntityManagerFactory entityManagerFactory) {
JpaTransactionManager transactionManager = new JpaTransactionManager();
transactionManager.setEntityManagerFactory(entityManagerFactory);
return transactionManager;
}
}
将以下内容添加到applicaiton.properties:
spring.datasource.hikari.isolation=READ_COMMITTED
spring.batch.jdbc.schema=always
spring.batch.jdbc.initialize-schema=always
spring.datasource.hikari.maximumPoolSize=10