上一篇文章中,我们对于Ambry做了简单的集群测试,但是再次强调一遍,这些只是最简单的测试,而且集群配置也不适用于生产环境。具体生产如何配置,我们之后在讲完原理之后会讲。 首先,我们目前Ambry的架构集群如下所示:
通过这幅图片,我们可以看出,ambry简单来看,分为:前端(Ambry frontend)还有后端数据负载节点(Ambry)。前端是一个简单的暴露Restful的API的包含Ambry-client-library的接口程序。客户端也可以直接通过依赖调用Ambry-client-library程序来访问后端Ambry数据负载节点。 我们查看下源代码结构:
由于本人对于Gradle不如Maven熟悉,而且为了去除一些无关的依赖还有熟悉源代码,我在这里利用Maven来替代原来的gradle依赖管理。 如果大家觉得麻烦,可以直接访问这个git库进行下载:我的项目-AmbryX,并且欢迎大家fork并一起补充想法,将Ambry改造成可以直接商用的,适合国内环境的框架。 改造的思路大概就是参考build.gradle这个gradle项目依赖根目录管理文件,通过allprojects配置了解全部模块的依赖和插件,这里是:
代码语言:javascript复制allprojects {
group = "com.github.ambry"
apply plugin: 'eclipse'
apply plugin: 'idea'
apply plugin: 'project-report'
repositories {
mavenCentral()
mavenLocal()
}
}
看了下剩下的模块依赖,这些内容都没有必要添加,只有group这个属性有用,用来决定我们maven中的groupId。 然后我们看subprojects的内容:
代码语言:javascript复制subprojects {
apply plugin: 'java'
sourceSets {
test {
java.srcDir file('src/integration-test/java')
resources.srcDir file('src/integration-test/resources')
}
unitTest {
java.srcDir file('src/test/java')
resources.srcDir file('src/test/resources')
}
}
dependencies {
compile "log4j:log4j:$log4jVersion"
compile "org.slf4j:slf4j-api:$slf4jVersion"
compile "org.slf4j:slf4j-log4j12:$slf4jVersion"
testCompile "junit:junit:$junitVersion"
unitTestCompile sourceSets.main.output
unitTestCompile sourceSets.test.output
unitTestCompile configurations.testCompile
unitTestRuntime configurations.testRuntime
}
test {
testLogging {
exceptionFormat = 'full'
}
}
task unitTest(type: Test) {
testLogging {
exceptionFormat = 'full'
}
testClassesDir = sourceSets.unitTest.output.classesDir
classpath = sourceSets.unitTest.runtimeClasspath
}
// only run unit tests when doing a standard build,
// but run integration tests too when running the test target
check.dependsOn -= test
check.dependsOn = unitTest
}
由于maven和gradle在单元测试的思路上是不一样的,maven的思路是在test目录下的所有class不会被包含在模块中。所以,模块与模块之间的单元测试不能互相依赖。但是gradle不一样,不同模块测试之间可以互相依赖。例如ambry-network模块:
代码语言:javascript复制project(':ambry-network') {
dependencies {
compile project(':ambry-api'),
project(':ambry-utils')
compile "com.codahale.metrics:metrics-core:$metricsVersion"
testCompile "org.bouncycastle:bcpkix-jdk15on:$bouncycastleVersion"
testCompile project(':ambry-utils').sourceSets.test.output
}
}
其中compile相当于maven依赖中的compile scope,testCompile 相当于maven依赖中的test scope。但是,这里面testCompile project(':ambry-utils').sourceSets.test.output
是依赖于ambry-utils的测试类,而不是main下面的。我们要改造成maven的项目,可以将所有模块的单元测试都放进一个新的模块-ambry-test中,来解决不同模块测试依赖。
之后,我们跟据每个模块的依赖,补充每个模块的pom文件。
在之后,在项目根目录整理conf目录,只留下如下几个文件即可:
在这里再说一遍,欲知详情,请参考:我的项目-AmbryX 解决依赖之后,我们在IDEA中重新载入这个项目,以maven project的形式。之后我们进行调试: 首先,定位到AmbryMain这个类,设置启动configuration:
主要设置VM options为:
代码语言:javascript复制-Dlog4j.configuration=file:./conf/log4j.properties
设置Program arguments为:
代码语言:javascript复制--serverPropsFilePath
./conf/server.properties
--hardwareLayoutFilePath
./conf/HardwareLayout.json
--partitionLayoutFilePath
./conf/PartitionLayout.json
之后启动。看到日志打出Server startup time in Ms xxxx,则成功。 接下来我们设置下前端restful服务端: 设置VM options为:
代码语言:javascript复制-Dlog4j.configuration=file:./conf/log4j.properties
设置Program arguments为:
代码语言:javascript复制--serverPropsFilePath
./conf/frontend.properties
--hardwareLayoutFilePath
./conf/HardwareLayout.json
--partitionLayoutFilePath
./conf/PartitionLayout.json
之后启动。 Ambry还有管理端,只不过接口比较少,我们这里也配置下: AdminMain: 设置VM options为:
代码语言:javascript复制-Dlog4j.configuration=file:./conf/log4j.properties
设置Program arguments为:
代码语言:javascript复制--serverPropsFilePath
./conf/admin.properties
--hardwareLayoutFilePath
./conf/HardwareLayout.json
--partitionLayoutFilePath
./conf/PartitionLayout.json
之后启动。
最后,我们简单过一下每个模块的作用,之后的文章里面我们会仔细讲: