ITeye博客

allenjoe1986的博客

allenjoe1986 · 共 10 篇文章

share-nothing

首先介绍share nothing概念。并行数据库要求尽可能的去并行执行数据库操作,从而提高性能。在并行计算体系结构实现中有很多可选的体系结构。包括: share-memory:多个cpu共享同一片内存,cpu之间通过内部通讯机制(interconnection network)进行通讯; share-disk : 每一个cpu使用自己的私有内存区域,通过内部通讯机制直接访问所有磁盘系统。 Share-nothing: 每一个cpu都有私有内存区域和私有磁盘空间,而且2个cpu不能访问相同磁盘空间,cpu之间的通讯通过网络连接。 3种体系结构如下图: Share disk share not…

2011-09-26 17:29 · 分布式数据库 · 评论(0)

一致性模型

http://www.ningoo.net/html/2010/cap_theorem_and_eventually_consistent.html 对于一致性,可以分为从客户端和服务端两个不同的视角。从客户端来看,一致性主要指的是多并发访问时更新过的数据如何获取的问题。从服务端来看,则是更新如何复制分布到整个系统,以保证数据最终一致。一致性是因为有并发读写才有的问题,因此在理解一致性的问题时,一定要注意结合考虑并发读写的场景。 从客户端角度,多进程并发访问时,更新过的数据在不同进程如何获取的不同策略,决定了不同的一致性。对于关系型数据库,要求更新过的数据能被后续的访问都能看到,这是 强一致…

2011-09-26 16:44 · 分布式数据库 · 评论(0)

JVM内存模型及垃圾收集策略解析(3)

2.3 JVM的垃圾收集策略 GC的执行时要耗费一定的CPU资源和时间的,因此在JDK1.2以后,JVM引入了分代收集的策略,其中对新生代采用"Mark-Compact"策略,而对老生代采用了“Mark-Sweep"的策略。其中新生代的垃圾收集器命名为“minor gc”,老生代的GC命名为"Full Gc 或者Major GC".其中用System.gc()强制执行的是Full Gc. 2.3.1 Serial Collector Serial Collector是指任何时刻都只有一个线程进行垃圾收集,这种策略有一个名字“stop the whole world",它需要停止整个应用的执行…

2011-09-23 15:52 · java · 评论(0)

JVM内存模型及垃圾收集策略解析(2)

二 JAVA垃圾收集器 2.1 垃圾收集简史 垃圾收集提供了内存管理的机制,使得应用程序不需要在关注内存如何释放,内存用完后,垃圾收集会进行收集,这样就减轻了因为人为的管理内存而造成的错误,比如在C++语言里,出现内存泄露时很常见的。Java语言是目前使用最多的依赖于垃圾收集器的语言,但是垃圾收集器策略从20世纪60年代就已经流行起来了,比如Smalltalk,Eiffel等编程语言也集成了垃圾收集器的机制。 2.2 常见的垃圾收集策略 所有的垃圾收集算法都面临同一个问题,那就是找出应用程序不可到达的内存块,将其释放,这里面得不可到达主要是指应用程序已经没有内存块的引用了,而在JAVA中,某…

2011-09-23 15:51 · java · 评论(0)

JVM内存模型及垃圾收集策略解析(1)

本文转自51CTO: http://developer.51cto.com/art/201002/184385.htm 。 一直以来想搞清楚java虚拟机的内部机制,可惜都没有找到系统的资料来学习,对这块知识的认识也是很模糊,偶然看到51CTO上篇文章,惊喜,果断分享。 垃圾收集器策略从20世纪60年代就已经流行起来了,相比于其他编程语言,Java语言是目前使用最多的依赖于垃圾收集器的语言。 JVM内存模型是Java的核心技术之一,之前51CTO曾为大家介绍过 JVM分代垃圾回收策略的基础概念 ,现在很多编程语言都引入了类似Java JVM的内存模型和垃圾收集器的机制,下面我们将主要针对Ja…

2011-09-23 15:44 · java · 评论(0)

分布式事务之两阶段提交

本文转自nosqlfan: http://blog.nosqlfan.com/html/3007.html 分布式系统中,事务的原子性保证是由两阶段提交实现的,理解两阶段提交对理解分布式事务很重要。 --------------------------------------------------------华丽丽的分割线--------------------------------------------------- 本文转载自 淘宝核心系统团队博客 ,文章描述了两个方面的内容,数据库 事务 的约束条件,以及分布式系统中事务性保证所用到的基础的 两阶段提交 策略。对理解分布式系统的一…

2011-09-21 17:23 · 分布式数据库 · 评论(0)

BASE思想

BASE BASE模型反ACID模型,完全不同ACID模型,牺牲高一致性,获得可用性或可靠性: B asically A vailable(基本可用):支持分区失败(e.g. sharding碎片划分数据库) S oft state(软状态):状态可以有一段时间不同步,异步。 E ventually consistent(最终一致):最终数据是一致的就可以了,而不是时时高一致。 BASE思想的主要实现有: 1. 按功能划分数据库 2. sharding碎片 BASE思想主要强调基本的可用性,如果你需要High 可用性,也就是纯粹的高性能,那么就要以一致性或容错性为牺牲,BASE思想的方案在性…

2011-09-20 19:13 · 分布式数据库 · 评论(0)

ACID

关系数据库的ACID模型: A是Atomicity,原子性 。一个事务往往涉及到许多的子操作,原子性则保证这些子操作要么都做,要么都不做,而不至于出现事务的部分操作成功,而另外一部分操作没有成功。如果事务在执行的过程中发生错误,那么数据库将回滚到事务发生之前的状态。比如银行的转账服务,这个事务的最终结果一定是:某个账户的余额增加了x,而另外一个账户的余额减少了x,或者两个账户的余额未发生变化。而不会出现其他情况。 C是Consistency,一致性 。一致性是指事务发生前和发生以后,都不会破坏数据库的约束关系,保证了数据库元素的正确性、有效性和完整性。这种约束关系可以是数据库内部的约束,比如…

2011-09-20 19:06 · 分布式数据库 · 评论(0)

CAP理论

概述 2000年Eric Brewer教授提出了著名的 CAP理论 ,即:一个分布式系统不可能满足一致性,可用性和分区容错性这三个需求,最多只能同时满足两个。2002年MIT的Seth Gilbert 和 Nancy lynch两人证明了CAP理论的正确性(原文见 这里 ,译稿见 这里 )。根据CAP理论,一致性(C),可用性(A),分区容错性(P),三者不可兼得,必须有所取舍。因此系统架构师不要把精力浪费在如何设计才能同时满足CAP三者的完美分布式系统,而是应该研究如何进行取舍,满足实际的业务需求。 解释 C onsistency(一致性):在分布式系统中的所有数据备份,在同一时刻都有同样…

2011-09-20 18:54 · 分布式数据库 · 评论(0)

Baidu/Taobao Hadoop

百度和淘宝是目前国内Hadoop的最大使用者,在NoSQL fan上看了百度和淘宝Hadoop集群的揭秘,总结一下。链接分别如下: 百度Hadoop分布式系统揭秘:4000节点集群: http://blog.nosqlfan.com/html/983.html 淘宝Hadoop数据分析实践:http://www.slideshare.net/coderplay/hadoop-9256433 百度: 百度一向是走C++系的,其Hadoop平台也是采用的C++版的HCE,而且值得注意的是百度是HyperTable的主要赞助者,HyperTable是C++版的HBase。可见百度对于Java的性能…

2011-09-19 08:53 · Hadoop · 评论(0)