Nosqlnotes - nosqlnotes.net - NOSQL Notes
General Information:
Latest News:
AWS云平台系列介绍（一）：AWS平台与EC2介绍 5 Apr 2012 | 10:34 pm
AWS整体介绍 Amazon平台的产品分为几个部分： 计算类：包含弹性计算云（EC2）和弹性MapReduce（Elastic MapReduce）这两个产品。EC2几乎可以认为是迄今为止云计算领域最为成功的产品，通俗地将，就是提供虚拟机。EC2的创新在于允许用户根据需求动态改变虚拟机实例的类型及数量，技术上支持容错并在收费模式上支持按使用量付费，而不是预付费。弹性MapReduce将Hado...
2011年度总结 3 Jan 2012 | 09:36 pm
技术杂谈 10年定下近几年的技术方向： 1, 精通架构：深入理解线上，线下分布式存储&计算并能够形成完整的知识体系； 2,理解系统：理解系统，网络，IDC，虚拟化等相关知识； 3,掌握应用：通过应用证明和修正分布式知识体系； 11年做了一些事情： 1, 思考并讨论Google，Amazon，Microsoft，Yahoo，Facebook内部云存储系统的架构及实现，在云存储方向形成了初...
GFS架构分析 12 Oct 2011 | 11:53 pm
Google文件系统（Google File System，GFS）是构建在廉价的服务器之上的大型分布式系统。它将服务器故障视为正常现象，通过软件的方式自动容错，在保证系统可靠性和可用性的同时，大大减少了系统的成本。 GFS是Google云存储的基石，其它存储系统，如Google Bigtable，Google Megastore，Google Percolator均直接或者间接地构建在GFS之...
跨机房问题 24 Aug 2011 | 03:50 am
跨机房问题一直都是一个老大难的问题，先看传统数据库的跨机房方案。 Master/Slave方案 这是最常用的方案，适用于大多数需求。Master将操作日志实时地发送到Slave，Slave当成Master的一个Hot Backup。Master宕机时，服务切换到Slave，需要修改客户端逻辑使得Master失效时自动寻找新的Master。 这个方案有一个问题就是数据库的Master和Slav...
”云存储系统“赏析系列分享三：SQL与NOSQL 31 Jul 2011 | 05:07 pm
8月2日（下周二）内部分享的ppt，分为几个部分： 1, 单机存储引擎看SQL与NOSQL； 2, NOSQL从单机扩展到多机的关键点； 3, 从Megastore看SQL与NOSQL的融合； 4, 设计实现的一些Work around方法及技巧； ppt比较简单，这几天将针对其中的”单机扩展到多机“问题写一篇博客。 “云存储系统”赏析系列分享三：Sql与nosql View mor...
缓存设计的一些思考 20 Jun 2011 | 12:37 am
互联网架构中缓存无处不在，某厂牛人曾经说过：”缓存就像清凉油，哪里不舒服，抹一下就好了”。高品质的存储容量小，价格高；低品质存储容量大，价格低，缓存的目的就在于”扩充”高品质存储的容量。本文探讨缓存相关的一些问题。 LRU替换算法 缓存的技术点包括内存管理和替换算法。LRU是使用最多的替换算法，每次淘汰最久没有使用的元素。LRU缓存实现分为两个部分：Hash表和LRU链表，Hash表用于查找缓...
GDB的两个技巧 7 Jun 2011 | 01:55 am
分享两个GDB的小技巧： 1, GDB失效时手工得到stack； 2, GDB执行用户命令脚本； 调试内存型服务程序的有时会遇到core dump或死锁问题，且gdb或者pstack都无法显示调用栈（call stack）。这是因为线程的调用栈被破坏了，而调用栈存放了函数的返回地址，gdb解析函数返回地址（根据地址查找符号表）失败，gdb也没有进行容错处理，只要有一处地址解析失败就无法展开调...
Microsoft Azure Storage架构分析 6 May 2011 | 02:55 am
Microsoft云存储服务分为两个部分，SQL Azure和Azure Storage。云存储系统的可扩展性和功能不可兼得，必须牺牲一定的关系数据库功能换取可扩展性。Microsoft实现云存储的思路有两种： 1, 做减法。SQL Azure直接在原有的SQL Server上引入分布式的因素，在满足一定可扩展性的前提下尽可能不牺牲原有的关系型数据库功能。SQL Azure的可扩展性是有限的，单...
Oceanbase – 千亿级海量数据库 22 Apr 2011 | 01:18 pm
我在数据库大会有一个报告：<<Oceanbase – 千亿级海量数据库>>，ppt已上传到Slideshare上。有一些同学问我，Oceanbase的创新点在哪里？ 从大学的数据结构课程可以知道，数据量比较大时，有两种数据结构很常用：哈希表和B+树，分布式系统也是类似的。如下图： Amazon的系统实现了一个分布式哈希表，而Google Bigtable, Yahoo PNUTS，Micros...
Amazon S3 & Simpledb内部实现分析 27 Mar 2011 | 11:50 pm
Amazon S3申请了一篇专利，名称为”Keymap Service Architecture for A Distributed Storage System“，而Amazon Simpledb的实现细节暂时没有公开。本文根据Dynamo论文，S3专利以及S3&Simpledb的对外API尝试推测这两个系统的内部实现。 对外API 1, S3：撇开S3系统中的Region, Bucket，...
