hibernate二级缓存攻略介绍

news/2024/5/19 0:01:30 标签: hibernate, class, 数据库, list, jdbc, cache
class="baidu_pl">
class="article_content clearfix">
class="htmledit_views">

 很多人对二级缓存都不太了解,或者是有错误的认识,我一直想写一篇文章介绍一下class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate的二级缓存的,今天终于忍不住了。
我的经验主要来自class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate2.1版本,基本原理和3.0、3.1是一样的,请原谅我的顽固不化。

class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate的session提供了一级缓存,每个session,对同一个id进行两次load,不会发送两条sql给数据库,但是session关闭的时候,一级缓存就失效了。

二级缓存是SessionFactory级别的全局缓存,它底下可以使用不同的缓存类库,比如ehcache、oscache等,需要设置class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.provider_class,我们这里用ehcache,在2.1中就是
class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.provider_class=net.sf.class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.EhCacheProvider
如果使用查询缓存,加上
class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.use_query_cache=true


缓存可以简单的看成一个Map,通过key在缓存里面找value。

Class的缓存
对于一条记录,也就是一个PO来说,是根据ID来找的,缓存的key就是ID,value是POJO。无论list,load还是iterate,只要读出一个对象,都会填充缓存。但是list不会使用缓存,而iterate会先取数据库select id出来,然后一个id一个id的load,如果在缓存里面有,就从缓存取,没有的话就去数据库load。假设是读写缓存,需要设置:
<cache usage="read-write"/>
如果你使用的二级缓存实现是ehcache的话,需要配置ehcache.xml
<cache name="com.xxx.pojo.Foo" maxElementsInMemory="500" eternal="false" timeToLiveSeconds="7200" timeToIdleSeconds="3600" overflowToDisk="true" />
其中eternal表示缓存是不是永远不超时,timeToLiveSeconds是缓存中每个元素(这里也就是一个POJO)的超时时间,如果eternal="false",超过指定的时间,这个元素就被移走了。timeToIdleSeconds是发呆时间,是可选的。当往缓存里面put的元素超过500个时,如果overflowToDisk="true",就会把缓存中的部分数据保存在硬盘上的临时文件里面。
每个需要缓存的class都要这样配置。如果你没有配置,class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate会在启动的时候警告你,然后使用defaultCache的配置,这样多个class会共享一个配置。
当某个ID通过class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate修改时,class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate会知道,于是移除缓存。
这样大家可能会想,同样的查询条件,第一次先list,第二次再iterate,就可以使用到缓存了。实际上这是很难的,因为你无法判断什么时候是第一次,而且每次查询的条件通常是不一样的,假如数据库里面有100条记录,id从1到100,第一次list的时候出了前50个id,第二次iterate的时候却查询到30至70号id,那么30-50是从缓存里面取的,51到70是从数据库取的,共发送1+20条sql。所以我一直认为iterate没有什么用,总是会有1+N的问题。
(题外话:有说法说大型查询用list会把整个结果集装入内存,很慢,而iterate只select id比较好,但是大型查询总是要分页查的,谁也不会真的把整个结果集装进来,假如一页20条的话,iterate共需要执行21条语句,list虽然选择若干字段,比iterate第一条select id语句慢一些,但只有一条语句,不装入整个结果集class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate还会根据数据库方言做优化,比如使用mysql的limit,整体看来应该还是list快。)
如果想要对list或者iterate查询的结果缓存,就要用到查询缓存了

查询缓存
首先需要配置class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.use_query_cache=true
如果用ehcache,配置ehcache.xml,注意class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate3.0以后不是net.sf的包名了
<cache name="net.sf.class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.StandardQueryCache"
   maxElementsInMemory="50" eternal="false" timeToIdleSeconds="3600"
   timeToLiveSeconds="7200" overflowToDisk="true"/>
<cache name="net.sf.class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.UpdateTimestampsCache"
   maxElementsInMemory="5000" eternal="true" overflowToDisk="true"/>
然后
query.setCacheable(true);//激活查询缓存
query.setCacheRegion("myCacheRegion");//指定要使用的cacheRegion,可选
第二行指定要使用的cacheRegion是myCacheRegion,即你可以给每个查询缓存做一个单独的配置,使用setCacheRegion来做这个指定,需要在ehcache.xml里面配置它:
<cache name="myCacheRegion" maxElementsInMemory="10" eternal="false" timeToIdleSeconds="3600" timeToLiveSeconds="7200" overflowToDisk="true" />
如果省略第二行,不设置cacheRegion的话,那么会使用上面提到的标准查询缓存的配置,也就是net.sf.class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.StandardQueryCache

对于查询缓存来说,缓存的key是根据hql生成的sql,再加上参数,分页等信息(可以通过日志输出看到,不过它的输出不是很可读,最好改一下它的代码)。
比如hql:
from Cat c where c.name like ?
生成大致如下的sql:
select * from cat c where c.name like ?
参数是"tiger%",那么查询缓存的key*大约*是这样的字符串(我是凭记忆写的,并不精确,不过看了也该明白了):
select * from cat c where c.name like ? , parameter:tiger%
这样,保证了同样的查询、同样的参数等条件下具有一样的key。
现在说说缓存的value,如果是list方式的话,value在这里并不是整个结果集,而是查询出来的这一串ID。也就是说,不管是list方法还是iterate方法,第一次查询的时候,它们的查询方式很它们平时的方式是一样的,list执行一条sql,iterate执行1+N条,多出来的行为是它们填充了缓存。但是到同样条件第二次查询的时候,就都和iterate的行为一样了,根据缓存的key去缓存里面查到了value,value是一串id,然后在到class的缓存里面去一个一个的load出来。这样做是为了节约内存。
可以看出来,查询缓存需要打开相关类的class缓存。list和iterate方法第一次执行的时候,都是既填充查询缓存又填充class缓存的。
这里还有一个很容易被忽视的重要问题,即打开查询缓存以后,即使是list方法也可能遇到1+N的问题!相同条件第一次list的时候,因为查询缓存中找不到,不管class缓存是否存在数据,总是发送一条sql语句到数据库获取全部数据,然后填充查询缓存和class缓存。但是第二次执行的时候,问题就来了,如果你的class缓存的超时时间比较短,现在class缓存都超时了,但是查询缓存还在,那么list方法在获取id串以后,将会一个一个去数据库load!因此,class缓存的超时时间一定不能短于查询缓存设置的超时时间!如果还设置了发呆时间的话,保证class缓存的发呆时间也大于查询的缓存的生存时间。这里还有其他情况,比如class缓存被程序强制evict了,这种情况就请自己注意了。

另外,如果hql查询包含select字句,那么查询缓存里面的value就是整个结果集了。

class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate更新数据库的时候,它怎么知道更新哪些查询缓存呢?
class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate在一个地方维护每个表的最后更新时间,其实也就是放在上面net.sf.class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate.cache.UpdateTimestampsCache所指定的缓存配置里面。
当通过class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate更新的时候,class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate会知道这次更新影响了哪些表。然后它更新这些表的最后更新时间。每个缓存都有一个生成时间和这个缓存所查询的表,当class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate查询一个缓存是否存在的时候,如果缓存存在,它还要取出缓存的生成时间和这个缓存所查询的表,然后去查找这些表的最后更新时间,如果有一个表在生成时间后更新过了,那么这个缓存是无效的。
可以看出,只要更新过一个表,那么凡是涉及到这个表的查询缓存就失效了,因此查询缓存的命中率可能会比较低。

Collection缓存
需要在hbm的collection里面设置
<cache usage="read-write"/>
假如class是Cat,collection叫children,那么ehcache里面配置
<cache name="com.xxx.pojo.Cat.children"
   maxElementsInMemory="20" eternal="false" timeToIdleSeconds="3600" timeToLiveSeconds="7200"
   overflowToDisk="true" />
Collection的缓存和前面查询缓存的list一样,也是只保持一串id,但它不会因为这个表更新过就失效,一个collection缓存仅在这个collection里面的元素有增删时才失效。
这样有一个问题,如果你的collection是根据某个字段排序的,当其中一个元素更新了该字段时,导致顺序改变时,collection缓存里面的顺序没有做更新。

缓存策略
只读缓存(read-only):没有什么好说的
读/写缓存(read-write):程序可能要的更新数据
不严格的读/写缓存(nonstrict-read-write):需要更新数据,但是两个事务更新同一条记录的可能性很小,性能比读写缓存好
事务缓存(transactional):缓存支持事务,发生异常的时候,缓存也能够回滚,只支持jta环境,这个我没有怎么研究过

读写缓存和不严格读写缓存在实现上的区别在于,读写缓存更新缓存的时候会把缓存里面的数据换成一个锁,其他事务如果去取相应的缓存数据,发现被锁住了,然后就直接取数据库查询。
class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate2.1的ehcache实现中,如果锁住部分缓存的事务发生了异常,那么缓存会一直被锁住,直到60秒后超时。
不严格读写缓存不锁定缓存中的数据。


使用二级缓存的前置条件
你的class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate程序对数据库有独占的写访问权,其他的进程更新了数据库class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate是不可能知道的。你操作数据库必需直接通过class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate,如果你调用存储过程,或者自己使用jdbc更新数据库class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate也是不知道的。class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate3.0的大批量更新和删除是不更新二级缓存的,但是据说3.1已经解决了这个问题。
这个限制相当的棘手,有时候class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate做批量更新、删除很慢,但是你却不能自己写jdbc来优化,很郁闷吧。
SessionFactory也提供了移除缓存的方法,你一定要自己写一些JDBC的话,可以调用这些方法移除缓存,这些方法是:
void evict(Class persistentClass)
          Evict all entries from the second-level cache.
void evict(Class persistentClass, Serializable id)
          Evict an entry from the second-level cache.
void evictCollection(String roleName)
          Evict all entries from the second-level cache.
void evictCollection(String roleName, Serializable id)
          Evict an entry from the second-level cache.
void evictQueries()
          Evict any query result sets cached in the default query cache region.
void evictQueries(String cacheRegion)
          Evict any query result sets cached in the named query cache region.
不过我不建议这样做,因为这样很难维护。比如你现在用JDBC批量更新了某个表,有3个查询缓存会用到这个表,用evictQueries(String cacheRegion)移除了3个查询缓存,然后用evict(Class persistentClass)移除了class缓存,看上去好像完整了。不过哪天你添加了一个相关查询缓存,可能会忘记更新这里的移除代码。如果你的jdbc代码到处都是,在你添加一个查询缓存的时候,还知道其他什么地方也要做相应的改动吗?

----------------------------------------------------

总结:
不要想当然的以为缓存一定能提高性能,仅仅在你能够驾驭它并且条件合适的情况下才是这样的。class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate的二级缓存限制还是比较多的,不方便用jdbc可能会大大的降低更新性能。在不了解原理的情况下乱用,可能会有1+N的问题。不当的使用还可能导致读出脏数据。
如果受不了class="hilite1">class="tags" href="/tags/HIBERNATE.html" title=hibernate>hibernate的诸多限制,那么还是自己在应用程序的层面上做缓存吧。
在越高的层面上做缓存,效果就会越好。就好像尽管磁盘有缓存,数据库还是要实现自己的缓存,尽管数据库有缓存,咱们的应用程序还是要做缓存。因为底层的缓存它并不知道高层要用这些数据干什么,只能做的比较通用,而高层可以有针对性的实现缓存,所以在更高的级别上做缓存,效果也要好些吧。


上来自:http://www.javaeye.com/topic/18904

CPU二级缓存

  CPU缓存(Cache Memory)位于CPU与内存之间的临时存储器,它的容量比内存小但交换速度快。在缓存中的数据是内存中的一小部分,但这一小部分是短时间内CPU即将访问的,当CPU调用大量数据时,就可避开内存直接从缓存中调用,从而加快读取速度。由此可见,在CPU中加入缓存是一种高效的解决方案,这样整个内存储器(缓存+内存)就变成了既有缓存的高速度,又有内存的大容量的存储系统了。缓存对CPU的性能影响很大,主要是因为CPU的数据交换顺序和CPU与缓存间的带宽引起的。
  缓存的工作原理是当CPU要读取一个数据时,首先从缓存中查找,如果找到就立即读取并送给CPU处理;如果没有找到,就用相对慢的速度从内存中读取并送给CPU处理,同时把这个数据所在的数据块调入缓存中,可以使得以后对整块数据的读取都从缓存中进行,不必再调用内存。
  正是这样的读取机制使CPU读取缓存的命中率非常高(大多数CPU可达90%左右),也就是说CPU下一次要读取的数据90%都在缓存中,只有大约10%需要从内存读取。这大大节省了CPU直接读取内存的时间,也使CPU读取数据时基本无需等待。总的来说,CPU读取数据的顺序是先缓存后内存。
  最早先的CPU缓存是个整体的,而且容量很低,英特尔公司从Pentium时代开始把缓存进行了分类。当时集成在CPU内核中的缓存已不足以满足CPU的需求,而制造工艺上的限制又不能大幅度提高缓存的容量。因此出现了集成在与CPU同一块电路板上或主板上的缓存,此时就把 CPU内核集成的缓存称为一级缓存,而外部的称为二级缓存。一级缓存中还分数据缓存(Data Cache,D-Cache)和指令缓存(Instruction Cache,I-Cache)。二者分别用来存放数据和执行这些数据的指令,而且两者可以同时被CPU访问,减少了争用Cache所造成的冲突,提高了处理器效能。英特尔公司在推出Pentium 4处理器时,用新增的一种一级追踪缓存替代指令缓存,容量为12KμOps,表示能存储12K条微指令。
  随着CPU制造工艺的发展,二级缓存也能轻易的集成在CPU内核中,容量也在逐年提升。现在再用集成在CPU内部与否来定义一、二级缓存,已不确切。而且随着二级缓存被集成入CPU内核中,以往二级缓存与CPU大差距分频的情况也被改变,此时其以相同于主频的速度工作,可以为CPU提供更高的传输速度。
  二级缓存是CPU性能表现的关键之一,在CPU核心不变化的情况下,增加二级缓存容量能使性能大幅度提高。而同一核心的CPU高低端之分往往也是在二级缓存上有差异,由此可见二级缓存对于CPU的重要性。
  CPU在缓存中找到有用的数据被称为命中,当缓存中没有CPU所需的数据时(这时称为未命中),CPU才访问内存。从理论上讲,在一颗拥有二级缓存的CPU中,读取一级缓存的命中率为80%。也就是说CPU一级缓存中找到的有用数据占数据总量的80%,剩下的20%从二级缓存中读取。由于不能准确预测将要执行的数据,读取二级缓存的命中率也在80%左右(从二级缓存读到有用的数据占总数据的16%)。那么还有的数据就不得不从内存调用,但这已经是一个相当小的比例了。目前的较高端的CPU中,还会带有三级缓存,它是为读取二级缓存后未命中的数据设计的—种缓存,在拥有三级缓存的CPU中,只有约5%的数据需要从内存中调用,这进一步提高了CPU的效率。
  为了保证CPU访问时有较高的命中率,缓存中的内容应该按一定的算法替换。一种较常用的算法是“最近最少使用算法”(LRU算法),它是将最近一段时间内最少被访问过的行淘汰出局。因此需要为每行设置一个计数器,LRU算法是把命中行的计数器清零,其他各行计数器加1。当需要替换时淘汰行计数器计数值最大的数据行出局。这是一种高效、科学的算法,其计数器清零过程可以把一些频繁调用后再不需要的数据淘汰出缓存,提高缓存的利用率。
  CPU产品中,一级缓存的容量基本在4KB到64KB之间,二级缓存的容量则分为128KB、256KB、512KB、1MB、2MB等。一级缓存容量各产品之间相差不大,而二级缓存容量则是提高CPU性能的关键。二级缓存容量的提升是由CPU制造工艺所决定的,容量增大必然导致CPU内部晶体管数的增加,要在有限的CPU面积上集成更大的缓存,对制造工艺的要求也就越高
  CPU的二级缓存一般情况下你感觉不是很明显。但是它的作用却不可忽视。它是暂存CPU运算时的数据的。硬盘的缓存主要在读/写的时候很突出。是CPU的二级缓存是在运行时候突出出来的,两者相比不是很明显。
  你认为如果大于521K的和1M的都一样的话。英特尔恭喜为什么还推出1M的呢?他为什么不把1M的缓存分成两个512K的放在两个CPU上从而降低成本呢?你用两台同样配置的电脑放上两个不同的CPU。一个放P42.8E(1M二级缓存)。另一个放P42.8C(521K)的。然后同时运行1G左右视频转换!你会发现2.8E的要比2.8C的快1/5左右。

来自:http://baike.baidu.com/view/8932.htm


http://www.niftyadmin.cn/n/1051286.html

相关文章

Linux 内存相关命令

linuxcache磁盘file3601.清理前内存使用情况 free -m 2.开始清理 echo 1 > /proc/sys/vm/drop_caches 3.清理后内存使用情况 free -m 4.完成! 查看内存条数命令: dmidecode | grep -A16 "Memory Device$" # sync # echo 1 > /proc/sys/vm/…

hibernate二级缓存配置

二级缓存配置&#xff1a; 1、首先要打开二级缓存&#xff0c;在hibernate.cfg.xml中添加如下配置&#xff1a; <property name"hibernate.cache.use_second_level_cache">true</property> 2、Hibernate的二级缓存使用第三方的缓存工具来实现…

Java学习开始之旅(JAVA开发环境搭建)

开始写这篇文章&#xff0c;我已经研究生毕业&#xff0c;刚刚开始工作&#xff0c;因为研究生期间一直用C做项目开发&#xff0c;工作却是以Java为主&#xff0c;所以将自己的Java学习过程记录下来。写博客的目的是为了加强理解&#xff0c;同时希望帮助初学者。 首先介绍一下…

Leetcode 122 Best Time to Buy and Sell Stock Ⅱ

Leetcode 122 Best Time to Buy and Sell Stock Ⅱ 题目描述 Say you have an array for which the ith element is the price of a given stock on day i. Design an algorithm to find the maximum profit. You may complete as many transactions as you like (i.e., buy…

模块和包专区

一 模块 1 什么是模块&#xff1f; 常见的场景&#xff1a;一个模块就是一个包含了python定义和声明的文件&#xff0c;文件名就是模块名字加上.py的后缀。 但其实import加载的模块分为四个通用类别&#xff1a;  1 使用python编写的代码&#xff08;.py文件&#xff09; 2 已…

Win7,Win8下多窗口运行Excel 2010

转载其他人的&#xff0c;留着自己看 注册表&#xff1a; xlsx&#xff1a; HKEY_CLASSES_ROOT\Excel.Sheet.12\shell\Open\ 删掉ddeexec 删掉command下的command&#xff0c;然后把&#xff08;Default&#xff09;改成 "D:\Program Files\Microsoft Office\Office14\EXC…

Leetcode 124 Binary Tree Maximum Path Sum

**Leetcode 124 Binary Tree Maximum Path Sum 题目描述 Given a non-empty binary tree, find the maximum path sum. For this problem, a path is defined as any sequence of nodes from some starting node to any node in the tree along the parent-child connection…

hibernate性能优化的几点建议

1、针对oracle数据库而言&#xff0c;Fetch Size 是设定JDBC的Statement读取数据的时候每次从数据库中取出的记录条数&#xff0c;一般设置为30、50、100。Oracle数据库的JDBC驱动默认的Fetch Size15&#xff0c;设置Fetch Size设置为&#xff1a;30、50&#xff0c;性能会有明…