百家争鸣还是百家讲坛

分布式存储的目标，是解决大规模数据在数据量不断增长的情况下，让服务更加稳定，更容易扩展。

其主要具备以下几个特点：

1.高可靠性：系统能够长时间高效运行不迭机。严格的说即使坏了一部分机器也没事。

2.可扩展性：可以随意增加减少机器，不用担心额外的数据损失。

3.负载均衡：要保证每个节点的数据都是负载均衡的，不出现集中负载到一个节点的情况。

4.一致性：因为是分布式的节点，就需要保证节点与节点之间保存数据的一致。

鱼与熊掌不可兼得，这几点，往往完成了其中几点就会损失另外一点，要全部达到完美，是一件非常困难的事情。

在国内的几个存储来看，基本都是只实现了其中的一部分，再按照自己业务的需求，来加强其中更为关心的建设。

beansdb的最终一致性通过哈希树实现快速完整数据同步（短时间内数据可能不一致）；可以在不中断服务的情况下进行容量扩展；异步IO和高性能的KeyValue数据TokyoCabinet：通过N,W,R进行配置（这点其实是dynamo的文档里的方案，并非beansdb所创）；Memcache兼容协议，大量可用客户端。sdd也大同小异。

Nuclear完成了这些功能，并且可以适配到mysql\tc\bdb等存储引擎之上。

为什么已经有开源的项目，还要去自己实现呢？简单的说，twitter敢用，你敢用吗？

分布式key-value存储之所以稳定的原因

从设计之初，注定这个系统会很稳定。为什么呢，主要是下面几点：

1.dynamo文档中的NWR的观点，可以让节点在损坏的情况下也能稳定如新。基本上这些系统都实现了。

2.dynamo文档中的两层数据节点的观点，可以让各节点在大负载的情况下负载均衡。部分实现了这一点。

3.底层存储的时候是key-value的读和取，只有一个维度的底层操作，对引擎来说，所有的操作都是可计算时间的。这一点的意思是说，假设都是MYSQL的底层存储，这个系统只会有一堆的select value form table where key=num这样的查询，而不会出现select * from table where key in(num1,num2,num3….)这样的查询，这两个查询不同的地方在于，如果都是1000次的查询，那么前一条的时间是可以准确预估的，而后一条取决于mysql底层实现的逻辑，而这个逻辑对上层是不可见的。

更多不明原因。。。

适合使用的范围

这套系统也不是放之四海而皆准的东西，如果说您的系统有如下的特征，可以考虑考虑：

1.数据插入后不需要各维度的查询。

2.数据不需要100%精确立即展示。

更多不明特点。

总结

其实这个系统，在过十亿的数据量下才有意思。
本文作者：
54chen(陈臻)，人人网分布式存储研究人员，业余时间混迹于各技术组织且乐此不疲。目前关注实施PHP培训。对flex等前端技术有一点研究。
个人技术站点:http://www.54chen.com/ 。可以通过电子邮件 czhttp@gmail.com 联系到他。

[文中所提及的链接]

beansDB:http://code.google.com/p/beansdb/

SDD:http://code.google.com/p/sina-sdd/

Nuclear:http://ugc.renren.com

S3:http://aws.amazon.com/s3/

dynamo:http://s3.amazonaws.com/AllThingsDistributed/sosp/amazon-dynamo-sosp2007.pdf

cassandra:http://incubator.apache.org/cassandra/

voldemort:http://project-voldemort.com/

代码:

# -*- coding: utf-8 -*-

from twisted.web.client import getPage
from twisted.internet import reactor

def printContents(contents):

	print "获得内容:"
	print contents.upper()

	reactor.stop()

def errorHandler(error):
	print error

	reactor.stop()

#请求
deferred = getPage("http://localhost/test/Babel_s/yappr.php")

#添加回调
deferred.addCallback(printContents)
deferred.addErrback(errorHandler)

#反应堆~
reactor.run()

说明:
1. python中, 注释一般是用 ”’ 这种方式 ”’ 的.
2. 没有{}来表示运行块, 用indent的深度来识别; 不适用分号来表示语句结束.
3. 指定encode的标记十分特别.
4. callback方式的.
5. Deferred对象来自于twisted.internet.defer.Deferred.
6.Python是case sensitive…

如果程序运行正常, 可以获得google首页所有的html代码.

稳定性
twisted并不是从0.1发展到8.1.0的. 是一下子跳到8的. 8.1.0是最新的stable的包.
从successful stories来看, 它的客户包括NASA这种级别的(http://twistedmatrix.com/trac/wiki/SuccessStories#NASA).

效率
twisted具有惊人的效率.
下面是一些twisted和Mina对比测试数据.

http://blog.bluendo.com/ff/mina-and-twisted-matrix-benchmarks

Leopard下的安装
下载, 运行.
建议是从源码安装。
windows下，可能需要安装openssl相关的库。

最近我作了一些尝试，在Zend Framework下使用AMF。现在把一些主要点共享给大家。

Tip 1，项目结构
这是刚接触ZF的同学们最头疼的。网上众说纷纭，其实很简单。
ZF发布的时候，bin目录下带有几个可运行的命令文件（包含各种系统了）。直接运行就可以了。
在这里，我是这样使用的(Mac Osx):

Yang:~ daniel$ ./zf.sh create project website

运行后，就会得到一个类似于这样的目录结构。

这里有个提示，尽管你可以把Zend文件夹（ZF的主要库文件）copy到刚才生成项目目录下的library里，我还是建议，一个服务器上维持一个ZF lib，这样升级起来容易。

现在可以把web服务器的服务地址只想我们生成目录bravo的public—这样，用户只能访问这个piblic目录中的文件，而程序文件是在application目录的，主要是安全。
好，打开浏览器，按照你配置的url来访问，应该能看到一个ZF生成的简单页面了。

Tip 2 index.php配置
ZF生成的public目录中，有一个index.php文件。这个文件是ZF应用的入口。这里的配置，主要是一些常量和ZF lib的位置。
比如我就是这样配置的：

<?php

// Define path to application directory
defined('APPLICATION_PATH')
    || define('APPLICATION_PATH', realpath(dirname(__FILE__) . '/../application'));

// Define application environment
defined('APPLICATION_ENV')
    || define('APPLICATION_ENV', (getenv('APPLICATION_ENV') ? getenv('APPLICATION_ENV') : 'production'));

//这个是amf service的目录
define('SERVICES_PATH', APPLICATION_PATH . '/services');

// Ensure library/ is on include_path
set_include_path(implode(PATH_SEPARATOR, array(
    realpath(APPLICATION_PATH . '/../../library'),
    get_include_path(),
)));

/** Zend_Application */
require_once '../../library/Zend/Application.php';  

// Create application, bootstrap, and run
$application = new Zend_Application(
    APPLICATION_ENV,
    APPLICATION_PATH . '/configs/application.ini'
);

$application->bootstrap()
            ->run();

Tip 3 配置文件
ZF生成的application.ini文件位于/application/configs/下, 这个目录也经常会放其他配置文件，如route，i18n等。
配置文件一定不能乱了。我们按照dev, prod两种环境来配置。

[general]
;includePaths.library = APPLICATION_PATH "/../../library"
bootstrap.path = APPLICATION_PATH "/Bootstrap.php"
bootstrap.class = "Bootstrap"
resources.frontController.controllerDirectory = APPLICATION_PATH "/controllers"

;database
resources.db.adapter = "PDO_MYSQL"
resources.db.isdefaulttableadapter = true
resources.db.params.driver_options.1002 = "SET NAMES UTF8;"

[development : general]
phpSettings.display_startup_errors = 1
phpSettings.display_errors = 1

resources.db.params.host = localhost
resources.db.params.username = bravo
resources.db.params.password = Z4wL6h8pA4KS5yDZ
resources.db.params.dbname = bravo

[production : general]
phpSettings.display_startup_errors = 0
phpSettings.display_errors = 0

resources.db.params.host = 127.0.0.1
resources.db.params.username = test
resources.db.params.password = test
resources.db.params.dbname = test

Tip 4 AMF 服务的编写
这个很简单。
不需要继承任何类。

顺便说说gateway的提供。ZF中，gateway是一个controller。里面的内容比较常规：

<?php

	class GatewayController extends Zend_Controller_Action{

		public function init(){
			$this->getHelper('ViewRenderer')->setNoRender();
		}

		public function indexAction(){
			$server = new Zend_Amf_Server();
			$server->setSession('Bravo');
			Zend_Session::start(); //让amf服务支持session

			$server->addDirectory(SERVICES_PATH);//index.php中声明的，服务所在的目录
			//类的映射。
			$server->setClassMap('com.bravo.model.User', 'Brava_Model_User');

			echo($server->handle());
		}

	}

?>

Tip 5 Bootstrap
最主要的是初始化name space和数据库连接

	protected function _initAutoload(){
		$autoloader = new Zend_Application_Module_Autoloader(array(
            'namespace' => 'Bravo',
            'basePath'  => dirname(__FILE__),
        ));
        return $autoloader;
	}

	protected function _initExtraConfig(){
		$resource = $this->getPluginResource('db');
		$db = $resource->getDbAdapter();
		Zend_Registry::set('db',$db);

		Zend_Registry::set('configSection',APPLICATION_ENV);

	}

Tip 6 Value Object的传输
最让我头疼的。我现在的做法是，不使用ZF的Model, 直接用DbAdapter.
所以，我在Model里定义的其实是VO.

定义一个Base:

<?php

	class Bravo_Model_Base{

		public function setData($place){

			foreach($this as $key=>$value){
				if( array_key_exists($key, $place)){
					$this->$key = $place[$key];
				}
			}
		}

	}

?>

那么， User的Model就是：

<?php
	class Bravo_Model_User extends Bravo_Model_Base{
		public $_explicitType = 'com.bravo.model.User';

		public $id;
		public $email;
		public $nickname;
		public $passwd;
		public $avatar;

	}
?>

在从数据库中取得数据后：

		public function getPlace($i){
			$db = Zend_Registry::get('db');

			$select = $db->select();

			$select->from('place')
			->where('place.id='. $i);

			$p = $db->fetchRow($select);

			$pvo = new Bravo_Model_Place();
                        //就可以这样了
			$pvo->setData($p);
			return $pvo;
		}

下一篇我们说客户端-应该是很简单了。

ICE入门

ICE（Internet Communications Engine 网络通讯引擎），是由Corba原核心成员开发的一个开源中间件，据称其各种性能完全优于Corba。除此之外，我们第一次见到了直接支持PHP的中间件。

ICE的安装，去http://www.zeroc.com/download.html 下载一个Ice针对PHP的安装包，按照说明安装上。

ICE的使用：使用Slice（ICE的一种简单语法脚本），编写一个xx.ice文件。可以使用slice2cpp或slice2java等生成一个cpp或java的ICE框架程序，然后在这个框架程序中进行代码编写。ICE在PHP的应用继承了PHP的一贯传统——简单，只需要在php.ini中加载该xx.ice，在PHP中就可以使用了。

ICE在PHP应用中的缺点，无法使用PHP编写Server端，其实这也是PHP的一个缺陷——没有完善的多进程和多线程管理机制。因此，Server端可以采用ICE所支持的其它语言进行编写，比如JAVA/C++/VB/PYTHON等。

开始传说中的“互联互通”

本例以 Ice 3.2.1为例 下载的位置和参考的文档都在下面

http://www.zeroc.com/download_3_2_1.html

http://www.zeroc.com/doc/Ice-3.2.1/manual/Slice.5.10.html#50592

ICE其实是一个网络框架，入门说明中说了，PHP不能用来做服务端，在这里我们使用java来做服务端，用php来连java，达到传说中的“互联互通”。

我们的服务端用Linux，客户端也用Linux（纯废话）。JAVA环境的搭建不在表述了。

在下载可以看出来，服务器支持yum或者是rpm是多么幸福的一件事情，或者搞一份tar.gz的包下来configure make make install，大概也就是这样。好了这样子就表示安装结束了。。。

安装之后的Ice相关路径:

slice2cpp,slice2java在/usr/bin/下

Ice.jar 存储于 /usr/share/java/下

相关的Ice的库存储于/usr/lib下.

第1步，建立服务器端的demo.ice的文件（注意代码里的半全角，如果是全角自行转成半角）：

module Demo{

interface test{

string   execute(string mth,string cmd);

};

};

第2步，执行: slice2java demo.ice 生成一堆文件。。。

第3步，动手干活

上一步执行完会在当前目录产生一个Demo目录,目录下自动生成:
-rw-r–r–  1 root root 2316  4月 15 17:01 _testDelD.java
-rw-r–r–  1 root root  560  4月 15 17:01 _testDel.java
-rw-r–r–  1 root root 1929  4月 15 17:01 _testDelM.java
-rw-r–r–  1 root root 4177  4月 15 17:01 _testDisp.java
-rw-r–r–  1 root root 1070  4月 15 17:01 testHolder.java
-rw-r–r–  1 root root  488  4月 15 17:01 test.java
-rw-r–r–  1 root root  481  4月 15 17:01 _testOperations.java
-rw-r–r–  1 root root  460  4月 15 17:01 _testOperationsNC.java
-rw-r–r–  1 root root 5418  4月 15 17:01 testPrxHelper.java
-rw-r–r–  1 root root  569  4月 15 17:01 testPrxHolder.java
-rw-r–r–  1 root root  567  4月 15 17:01 testPrx.java
到目前为止,demo.ice所以Ice接口部分的定义以及相关依赖都已经自动生成.

我们要实现自己的execute方法,覆盖testPrx.java的同名方法:

//TestImp.java

package Demo;

import Ice.Current;

public class TestImp extends _testDisp{

public String execute(String mth, String cmd, Current __current) {

// TODO Auto-generated method stub

return mth+cmd;

}

}

第4步，建立一个Server服务在10000端口进行侦听

//Server.java

package Demo;

public class Server {

public static void main(String[] args) {

int status = 0;

Ice.Communicator ic = null;

try {

ic = Ice.Util.initialize(args);

Ice.ObjectAdapter adapter = ic.createObjectAdapterWithEndpoints(

“TestAdapter”, “default -p 10000″);

Ice.Object object = new TestImp();

adapter.add(object, ic.stringToIdentity(“TestAdapter”));

adapter.activate();

ic.waitForShutdown();

} catch (Ice.LocalException e) {

e.printStackTrace();

status = 1;

} catch (Exception e) {

System.err.println(e.getMessage());

status = 1;

}

if (ic != null) {

// Clean up

//

try {

ic.destroy();

} catch (Exception e) {

System.err.println(e.getMessage());

status = 1;

}

}

System.exit(status);

}

}

以上大部分代码都是框架生成，你只需要在里面填写TODO。把这个代码拖回来用eclipse打成jar包，注意，需要依赖ice.jar这个包，这个包可以在官方网站下载到。http://www.zeroc.com/download_3_2_1.html

生成DemoServer.ajr后传到服务器，运行java -cp ./:Ice.jar:DemoServer.jar Demo.Server

运行成功的条件是Ice.jar和DemoServer.jar都在一个目录里。（Ice.jar从下载地址下载）

Server运行之后监听于10000端口，需要修改iptables，允许其他机器可以连接。
编辑 iptables
vi /etc/sysconfig/iptables

-A RH-Firewall-1-INPUT -m state –state NEW -m tcp -p tcp –dport 10000 -j ACCEPT

继续深入互联互通

这一节完成了Server，一个10000端口的Server在等待着我们用PHP来联通中。下一节，我们将讲述：IcePHP环境的搭建，PHP调用Ice如何与JAVA互联互通，以及一个完整的Demo，保存好本节的代码，后面还有用处。[未完待续]

如果你的项目互相有jar包的依赖，WEB-INF/lib下有大量杂乱的jar包，svn里lib目录下时常要更新东西，并且你为此伤透了脑筋，团队战斗力无法提升，那么，你就需要这两样利器了。

主角出场 windows环境居多

http://maven.apache.org/ 项目的主页，有洋文

http://maven.apache.org/download.html 下载的地方

安装的说明-好yy的居然有中文！

http://www.sonatype.com/books/maven-book/reference_zh/installation.html

大概意思就是下一个包然后设置环境变量。主要目的就是让你的本地环境能够执行mvn。

跑龙套的出场 linux环境犹佳

http://nexus.sonatype.org/ 项目的主页，有洋文

http://nexus.sonatype.org/downloads/ 下载的地方

安装的说明

http://www.sonatype.com/books/nexus-book/reference/install.html

就是下一个包然后以webserver方式运行下。主要目录是让你的jar包能有个放处。

类似 ./bin/jsw/macosx-universal-32/nexus start

安装的视频

全屏才能看清楚.

跑龙套的近照 默认密码是 admin/admin123

剧本

主角其实是个客户端工具，所有的功能都集中于一个命令：mvn

例如：运行cmd 进入项目文件夹 mvn package 将项目打包 mvn install 将项目包安装到本地仓库 mvn deploy 向包布到跑龙套那个东东上面。

mvn命令还有很多强大的功能，具体见 http://www.sonatype.com/books/maven-book/reference_zh/public-book.html

跑龙套那个其实才算得上第二主角，它是一个强大的服务器端，它管理着你所有原来在svn里的lib下的所有jar包。并且很重要的一点，它能通过web界面搜索。

这样，只要大家都使用和发布snapshot版本的jar包，不需要再另行通知更新jar包，开发的人搞好直接mvn deploy，使用的人在mvn -U clean package 自然就拖下最新的包，默契不在话下。

这一切，都来源于pom组织的强大定义。【全剧终】

鸣谢

党和人民

老毛子精细的技术活

新域名是 new.com

迁移挂维护的过程就略过了，直接说重点，

第一步，修改nginx.conf，删除原来old.com的定义，增加：

server {
listen 80;
server_name old.com;

location / {
root   /old;
if (!-e $request_filename){
rewrite ^/(.*)?$ /index.html?t=$1 last;
}
}
}

第二步，在/old下放进一个index.html，代码如下：

<div>

<h1><span>old换名啦！</span>
<br>
原来old更名为new，请放心不会影响您的使用，新的地址为<a href=”http://new.com” id=”link”>new.c
om</a>谢谢您的支持！
</h1>
<p>
2秒之后自动跳转到新的地址…
</p>
</div>

<script type=”text/javascript”>
document.getElementById(“link”).href = location.href.replace(“old.com”,”new.com”);
setTimeout(function(){
location.href =  location.href.replace(“old.com”,”new.com”);
}, 2000)
</script>

第三步，关机，回家睡觉

I’ve been trying to upload files to twisted.web2 backend(FileSaver) with Adobe Flex and I am always getting IOError.
(code see below)
After some sniffing work, I found the error messages returned by twisted.web2:

Unexpected data on same line as boundary: ‘–’

I believe this flex app works with php backend. So this might be with twisted.web2 or flash player’s malformed post data.

It seems the twisted error comes from fileupload.py:
(I added 2 prints)

    def _readBoundaryLine(self):
        print "_readBoundaryLine"
        line = self.stream.readline(size=1024)
        if isinstance(line, defer.Deferred):
            line = defer.waitForDeferred(line)
            yield line
            line = line.getResult()
        print line
        if line == "--\r\n":
            # THE END!
            yield False
            return
        elif line != "\r\n":
            raise MimeFormatError("Unexpected data on same line as boundary: %r" % (line,))
        yield True
        return
    _readBoundaryLine = defer.deferredGenerator(_readBoundaryLine)

with html uploading form, it outputs:

2009-08-20 23:06:08+0800 [-] _readBoundaryLine
2009-08-20 23:06:08+0800 [-] –
2009-08-20 23:06:08+0800 [-]
2009-08-20 23:06:08+0800 [-] ——–
2009-08-20 23:06:08+0800 [-] FileUpload

but with flex uploading:

2009-08-20 23:06:27+0800 [-] _readBoundaryLine
2009-08-20 23:06:27+0800 [-]
2009-08-20 23:06:27+0800 [-]
2009-08-20 23:06:27+0800 [-] _readBoundaryLine
2009-08-20 23:06:27+0800 [-]
2009-08-20 23:06:27+0800 [-]
2009-08-20 23:06:27+0800 [-] _readBoundaryLine
2009-08-20 23:06:27+0800 [-] –

Same file, different posted data.

Any ideas?

Does this happen to be a bug, or is there any way to walk around this?

My testing code:

python code:

from twisted.web2 import http_headers, resource, \
	static, server, channel, http, responsecode
from twisted.python import util

FORMHTML = """
<html>
<p>for test</p>
<form action="/upload" method="post" enctype="multipart/form-data">
	<input type="file" name="FileUpload" />
	<input type="submit" value="Upload"/>
</form>
</html>
"""

class MyFileSaver(static.FileSaver):
	"""for test only"""
	def render(self, req):
		print req, '--------'
		if req.files:
			for fieldName in req.files:
				print fieldName

		return http.Response(responsecode.OK, {}, stream='ok')

class Toplevel(resource.Resource):
  addSlash = True
  def render(self, ctx):
	return http.Response(stream=FORMHTML)

  child_upload = MyFileSaver(util.sibpath(__file__, ''),
  	expectedFields=['FileUpload'],
  		allowedTypes=(
  			http_headers.MimeType('image', 'jpeg'),
  			http_headers.MimeType('image', 'png'),
  			http_headers.MimeType('image', 'gif'),
  		)
  	)
  child_swf = static.File(util.sibpath(__file__, 'FileUpload.swf'))
site = server.Site(Toplevel())

# Standard twisted application Boilerplate
from twisted.application import service, strports
application = service.Application("demoserver")
s = strports.service('tcp:8080', channel.HTTPFactory(site))
s.setServiceParent(application)

My flex code:

<?xml version="1.0" encoding="utf-8"?>
<!-- http://blog.flexexamples.com/2007/09/21/uploading-files-in-flex-using-the-filereference-class/ -->
<mx:Application xmlns:mx="http://www.adobe.com/2006/mxml"
        layout="vertical"
        verticalAlign="middle"
        backgroundColor="white"
        creationComplete="init();">

    <mx:Script>
        <![CDATA[
            private var fileRef:FileReference;

            private const FILE_UPLOAD_URL:String = "http://127.0.0.1:8080/upload";

            private function init():void {
                fileRef = new FileReference();
                fileRef.addEventListener(Event.SELECT, fileRef_select);
                fileRef.addEventListener(ProgressEvent.PROGRESS, fileRef_progress);
                fileRef.addEventListener(Event.COMPLETE, fileRef_complete);
                fileRef.addEventListener(IOErrorEvent.IO_ERROR,ioErrorHandler);
                fileRef.addEventListener(SecurityErrorEvent.SECURITY_ERROR, onSec);
            }

            private function browseAndUpload():void {
                fileRef.browse();
                message.text = "";
            }

            private function ioErrorHandler(event:IOErrorEvent):void {
            	trace(event);
            }

            private function onSec(event:SecurityErrorEvent):void{
            	trace(event);
            }

            private function fileRef_select(evt:Event):void {
                try {
                    message.text = "size (bytes): " + numberFormatter.format(fileRef.size);

                    var req:URLRequest = new URLRequest();
                    req.url = FILE_UPLOAD_URL;
                    req.method = URLRequestMethod.POST;

                    fileRef.upload(req, "FileUpload");
                } catch (err:Error) {
                    message.text = "ERROR: zero-byte file";
                }
            }

            private function fileRef_progress(evt:ProgressEvent):void {
                progressBar.visible = true;
            }

            private function fileRef_complete(evt:Event):void {
                message.text += " (complete)";
                progressBar.visible = false;
            }
        ]]>
    </mx:Script>

    <mx:NumberFormatter id="numberFormatter" />

    <mx:Button label="Upload file"
            click="browseAndUpload();" />
    <mx:Label id="message" />
    <mx:ProgressBar id="progressBar"
            indeterminate="true"
            visible="false" />

</mx:Application>

解决方法：
暂时没有，但是有一个patch:

http://twistedmatrix.com/trac/ticket/2113

一起哭吧。。。