其实我那几个特别是工具类得开源项目一致都有维护和更新,但是每次更新得量和要点并不怎么突出所以一致也没写点什么。但是偶尔吗也会碰到一些稍微值得记录的东西,但是又不多所以很多都遗漏掉了。
虽然漏掉得那些也补不回来,我还是对近期得一些维护稍微记录一下吧。虽然近期维护得内容稍微多一些,但是也只能靠记忆回忆一些了。
WP-Code-Highlight.js
首先是这个Wordpress得插件项目,我收到一个PR。说是点击菜单会自动登出。但是我看了下PR中的内容,改的都是字符串文本,还有注释和i18n字典得key。这就相当奇怪了,看起来这些都不可能导致登出问题啊。所以这个问题复查也是蛮折腾得。
首先我这里完全不复现这个问题,然后提PR的人说是他的环境是PHP 7。所以我就得去构造环境,但是我构造出的PHP 7环境也不复现。然后提PR的人说dreamhost托管的wordpress能重现这个问题。于是我又去dreamhost折腾了一番。dreamhost的UE十分糟糕。很难弄清怎么使用,等我好不容易完成以后,发现还是不复现。再后来就是提PR得人提了一个缓存系统varnish。然后我突然想到nginx得URL匹配有些人喜欢直接匹配后缀得,说不定这个也是,把.js结尾的文件全部识别为静态文件走缓存了。然后我们的WP-Code-Highlight.js的配置页里,是一个php文件后面跟了一个参数,恰好是.js结束的。于是乎试了一下,提PR的人果然说解决了。
这个BUG其实不能算是我这个插件的问题,但是改掉主要是考虑到很多人写表达式都不会很严谨,估计犯这个错误得人不在少数,所以给他们把这个坑藏一藏吧。
唉这个坑浪费了我10块钱啊。还好现在云服务都是可以按小时计费的。
hiredis-happ
这是线上有使用得一个redis cluster的C 接入层。并且做了自动重连和错误重试的功能。之前想到的是这种数据服务都是会防火墙只开放内网的嘛,所以并没有做认证的功能。但是后来看到了MangoDB爆发的大规模安全事件。唉,你挡不了使用得小白傻X啊是不?所以还是抽空加一下吧。
其实之前的版本也是可以认证的,就是在on connected得回调里直接发送AUTH命令就可以了。但是这样使用者得自己保证在AUTH前没有其他命令。但是其实这个使用者也保证不了,因为on connected是在成功连接之后触发的,但是在创建context成功后就可以加入命令排队,这样如果底层走重连得重发流程,就没法让用户排一个AUTH命令在新连接的最前面。
所以,我还是加了两个接口,用于在底层创建成功后直接发送AUTH命令。不过目前得实现也比较简单,只是基本能满足需要而已。另外,之所以是两个接口,一个是直接设置密码,另一个是如果在cluster里,可以支持不同的节点给不同得密码。
pbc分支
pbc分支的一系列修改其实并不全是最近改得,不过之前提交的RP被merge进来了,这个RP主要是修复了默认table能被修改的问题。然而后来我又加了一些东东,似乎被一不小心一起merge进去了。大概的patch如下:
- RP #80 - 修复默认值的table能够被外部修改的问题
- 增加了 pbc的build_ios.sh 脚本,用于集成pbc到IOS时,给IOS版本提供静态库
原本其实有个xcode工程可以直接做这件事的,但是那个工程里限定了编译的架构。在集成进项目工程时比较麻烦,而且得手动选一下编译目标架构。特别是OSX下的命令行控制xcode工程非常不便。现有的一些修改xcode工程文件的库(比如mod-xcodeproj)很不稳定。我这里在OSX里的环境会崩溃,并不能成功修改工程。所以就提供一个脚本来直接生成各种架构的.a文件,这样就不用去改工程了,直接扔进去即可。
- 增加了pbc的lua binding的build_ios.sh脚本,分为lua 5.1 和lua 5.3版本。目的和上面一样,并且lua binding原先并没有xcode工程可以用。然后提供参数可以把pbc和pbc得lua binding打包到一起。
- 在别人的解决方案的启发下接入了proto v3,放在新分支 https://github.com/owent-contrib/pbc/tree/proto_v3
主要是proto v3里所有的数字的repeated默认是packed的,然后要处理好显式配成packed=true和packed=false的情况。我参照的那个解决方案主要是这里有点问题,所以我自己写了。 另外似乎pb文件里并不能区分是proto v3还是v2生成的,所以两种方案没法兼容啊,所以新开个分支搞喽。
Unity-IOS脚本化打包和自动构建
这个也是蛮烦得,所以还是记一下吧,特别是以后涉及新配OSX的打包机的时候,有些坑可能还会踩。
以下假定仓库clone的地址放在:$WORKSPACE/Client
首先来一驼配置
代码语言:javascript复制# ======================== xcode配置和Unity配置 ========================
PROVISIONING_PROFILE="iOS Team Provisioning Profile: com.xxxxx.yyyyy"; # 这个必需和Unity里得导出得PlayerSetting里得字段一致
BUNDLE_IDENTIFIER="com.xxxxx.yyyyy"; # 这个必需和Unity里得导出得PlayerSetting里得字段一致
CODE_SIGN_IDENTITY="iPhone Developer: NAME (不知道什么ID)"; # 这个配置其实没用到,不过万一那里需要用,就是这个样子得内容
# @see below URL for team id
# https://developer.apple.com/account/#/membership
DEVELOPMENT_TEAM="XXXXXXXX"; # TeamID, 上面得地址可以查,用来生成企业包时得签名
UNITY_PATH="/Applications/Unity/Unity.app/Contents/MacOS/Unity"; # osx 上默认得Unity地址时装在这里
# 可用得开发者证书信息可以在 ~/Library/MobileDevice/Provisioning Profiles/*.mobileprovision 里找。
# ======================== 工程配置 ========================
PACKAGE_PUBLISH_URL_PREFIX="https://publish.domain/xxx"; # 可访问得发布地址,必需https
PROJECT_NAME="hello"; # 用于后面生成发布包文件名
然后执行Unity导出工程:
代码语言:javascript复制XCODE_PORJECT_DIR=Unity导出得xcode工程目录,必需和实际导出得一致
UNITY_PORJECT_DIR=Unity工程目录
if [ -e "$XCODE_PORJECT_DIR" ]; then
rm -rf "$XCODE_PORJECT_DIR";
fi
cd "$UNITY_PORJECT_DIR";
$UNITY_PATH -batchmode -quit -projectPath $WORKSPACE/Client/unity_project -executeMethod 执行命令的类名.执行命令的函数名
上面得执行命令的类名.执行命令的函数名时自己写的Unity导出函数,这里给个我们ios版本的sample:
代码语言:javascript复制#region Build tools
/// <summary>
/// 获取要输出的场景
/// </summary>
static string[] GetBuildScenes() {
List<string> names = new List<string>();
foreach (EditorBuildSettingsScene e in EditorBuildSettings.scenes) {
if (e == null)
continue;
if (e.enabled)
names.Add(e.path);
}
return names.ToArray();
}
static string TryPatchEnvironment(string str, string envName) {
string val = Environment.GetEnvironmentVariable(envName);
if (null != val) {
val = val.Trim();
if (val.Length > 0) {
Debug.Log(string.Format("[PatchEnvironment]: {0}={1}", envName, val));
return val;
}
}
return str;
}
static int TryPatchEnvironment(int ori, string envName) {
string val = Environment.GetEnvironmentVariable(envName);
if (null != val) {
val = val.Trim();
if (val.Length > 0) {
Debug.Log(string.Format("[PatchEnvironment]: {0}={1}", envName, val));
return int.Parse(val);
}
}
return ori;
}
static Enum TryPatchEnvironment(Enum ori, string envName) {
string val = Environment.GetEnvironmentVariable(envName);
if (null != val) {
val = val.Trim();
if (Enum.IsDefined(ori.GetType(), val)) {
Debug.Log(string.Format("[PatchEnvironment]: {0}={1}", envName, val));
return (Enum)Enum.Parse(ori.GetType(), val);
} else {
Debug.Log(string.Format("Invalid value fot {0}: "{0}"", ori.GetType().Name, val));
}
}
return ori;
}
/// <summary>
/// 这个和上面的TryPatchEnvironment主要用于通过环境变量来修改一些打包得配置参数。可以用来控制日志级别、服务器环境等
/// </summary>
static void PatchEnvironment() {
// server tag
{
string svrTag = Environment.GetEnvironmentVariable("PROJECT_SERVER_TAG");
if (null != svrTag) {
foreach (var svr in Preference.servers) {
if (svr.Name == svrTag) {
PrivatePreference.currentServerTag = svrTag;
Debug.Log("Server environment change into " svrTag);
break;
}
}
}
}
Preference.packageServer = TryPatchEnvironment(Preference.packageServer, "PROJECT_CONFIG_PACKAGE_SERVER");
Preference.packagePort = TryPatchEnvironment(Preference.packagePort, "PROJECT_CONFIG_PACKAGE_PORT");
Preference.exportMode = (Preference.ExportMode)TryPatchEnvironment(Preference.exportMode, "PROJECT_CONFIG_EXPORT_MODE");
PrivatePreference.LogLevel = (Log.Level)TryPatchEnvironment(PrivatePreference.LogLevel, "PROJECT_CONFIG_LOG_LEVEL");
GlobalConfig.LogLevel = (Log.Level)TryPatchEnvironment(GlobalConfig.LogLevel, "PROJECT_CONFIG_LOG_LEVEL");
GlobalConfig.maxLogCount = TryPatchEnvironment(GlobalConfig.maxLogCount, "PROJECT_CONFIG_LOG_MAX_COUNT");
}
#region build for iOS
static string GetBuildPathiOS() {
string dirPath = Application.dataPath "/../../build/ios/" PlayerSettings.productName;
if (!System.IO.Directory.Exists(dirPath)) {
System.IO.Directory.CreateDirectory(dirPath);
}
return dirPath;
}
/// <summary>
/// 驱动XUPorter执行导出追加库和文件的流程,因为通过脚本执行得时候并不会触发XUPorter默认使用得编辑器钩子事件
/// </summary>
static void PatchXCodeProject(BuildTarget target) {
// 来自 Assets/Lib/Editor/XUPorter/XCodePostProcess.cs
#if UNITY_EDITOR
XCodePostProcess.OnPostProcessBuild(target, GetBuildPathiOS());
#endif
}
[UnityEditor.MenuItem("Giu/Build/Build iOS")]
static void CommandLineBuildIOS() {
Debug.Log("Command line build iOSn------------------n------------------");
//GenerateData(false);
string[] scenes = GetBuildScenes();
string path = GetBuildPathiOS();
if (scenes == null || scenes.Length == 0 || path == null)
return;
Debug.Log(string.Format("Path: "{0}"", path));
for (int i = 0; i < scenes.Length; i) {
Debug.Log(string.Format("Scene[{0}]: "{1}"", i, scenes[i]));
}
// 这里是从Standalone得配置里复制配置,因为我们不在OSX上开发,在OSX以外改不了配置,所以这里就在Windows上改了Standalone得配置,然后iOS工程直接复制过来就好了
string script_symbols = PlayerSettings.GetScriptingDefineSymbolsForGroup(BuildTargetGroup.Standalone);
PlayerSettings.SetScriptingDefineSymbolsForGroup(BuildTargetGroup.iOS, script_symbols);
PlayerSettings.bundleIdentifier = BUNDLE_IDENTIFIER;
PlayerSettings.showUnitySplashScreen = false;
// 读环境变量,改配置
PatchEnvironment();
Debug.Log(string.Format("Reset ScriptingDefineSymbols to {0}", script_symbols));
Debug.Log("Starting Build!");
// 执行完BuildPipeline.BuildPlayer后启动XUPorter
#if UNITY_5
BuildPipeline.BuildPlayer(scenes, path, BuildTarget.iOS, BuildOptions.None);
PatchXCodeProject(BuildTarget.iOS);
#else
BuildPipeline.BuildPlayer(scenes, path, BuildTarget.iPhone, BuildOptions.None);
PatchXCodeProject(BuildTarget.iPhone);
#endif
}
#endregion
#endregion
好。接下来时问题一:我们XUPorter导出来的xcode得工程里,有个流程里时候地址会出错,所以我写了个文本替换,如果XUPorter导出得文件路径错了就修复一下。
代码语言:javascript复制perl -p -i -e "s;[^\s\"\']*(\.\.\/)*Lib/Editor/XUPorter/Mods;$WORKSPACE/Client/unity_project/Assets/Lib/Editor/XUPorter/Mods;g" $XCODE_PROJECT_DIR/*.xcodeproj/project.pbxproj ;
然后问题二:xcode的签名很恶心,有些地方会依赖交互式操作,所以要阻止这个。
代码语言:javascript复制# 先让钥匙串里信任打包用的用户,不需要二次确认。
# 然后用指定密码解锁登入钥匙串,这个地方如果有问题,会出现各种奇怪得提示。并不会明确得告诉你是认证错误或者需要登入。总之十分得恶心切诡异
# 并且不一定会报在code sign那里(虽然大部分情况会报在code sign那里)
security -v unlock-keychain -p "登入密码" ~/Library/Keychains/login.keychain ;
# 钥匙串得路径不一定是~/Library/Keychains/login.keychain,不过大部分情况下是这个。我这里得macmini就是~/Library/Keychains/login.keychain-db
# 可以用 security list-keychains 这个命令查一下
# 如果打包得时间很长,要设置一次认证有效期,防止过期。但是这个基本只要做一次就好了
# security set-keychain-settings -t 3600 -l ~/Library/Keychains/login.keychain
# security show-keychain-info ~/Library/Keychains/login.keychain
然后就可以开始打包了
代码语言:javascript复制cd "$XCODE_PROJECT_DIR";
# 打包xcarchive
xcodebuild archive -project Unity-iPhone.xcodeproj -scheme Unity-iPhone -archivePath bin/Unity-iPhone.xcarchive -sdk iphoneos -verbose -configuration Release TEAM="$DEVELOPMENT_TEAM" DEVELOPMENT_TEAM="$DEVELOPMENT_TEAM";
# 这里找两个图片用于打包的时候填充displayImageURL和fullSizeImageURL字段
DISPLAY_IMAGE_PATH=$(find bin/Unity-iPhone.xcarchive -name "*.png" | grep 'Icon' | head -n 1);
FULL_SIZE_IMAGE_PATH=$(find bin/Unity-iPhone.xcarchive -name "*.png" | grep -v 'Icon' | GREP -v '[@#~]' | head -n 1);
DISPLAY_IMAGE_NAME=$(basename $DISPLAY_IMAGE_PATH);
FULL_SIZE_IMAGE_NAME=$(basename $FULL_SIZE_IMAGE_PATH);
# generate plist for generate enterprise ipa
echo '<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">' > exportOptions.plist ;
echo "<plist version="1.0">
<dict>
<key>method</key>
<string>enterprise</string>
<key>teamID</key>
<string>$DEVELOPMENT_TEAM</string>
<key>manifest</key>
<dict>
<key>appURL</key>
<string>$PACKAGE_PUBLISH_URL_PREFIX/$PROJECT_NAME.ipa</string>
<key>displayImageURL</key>
<string>$PACKAGE_PUBLISH_URL_PREFIX/AppIcon57x57.png</string>
<key>fullSizeImageURL</key>
<string>$PACKAGE_PUBLISH_URL_PREFIX/LaunchImage.png</string>
</dict>
</dict>
</plist>" >> exportOptions.plist ; # 这个是企业包得exportOptions.plist,其他类型得包把method得值改成其他得就行了
# 导出并签名企业包。以前指定provisioning profile得方式已经被deprecated掉了。所以新的一律用exportOptions.plist
xcodebuild -exportArchive -archivePath bin/Unity-iPhone.xcarchive/ -exportPath "$PROJECT_NAME" -exportOptionsPlist exportOptions.plist;
# 生成一个html页面用于给safari里安装企业包用
echo "<!DOCTYPE html>
<html lang='zh-CN'>
<head>
<meta http-equiv='Content-Type' content='text/html; charset=UTF-8' />
<meta http-equiv='x-ua-compatible' content='IE=edge' />
<title>Download $PROJECT_NAME</title>
</head>
<body>
当前版本原始地址: <a href='$PACKAGE_PUBLISH_URL_PREFIX'>$PACKAGE_PUBLISH_URL_PREFIX</a><br /><hr />
<h1>如果点击无法下载安装,请在safari中打开<h1/>
<h1><a title='iPhone' href='itms-services://?action=download-manifest&url=$PACKAGE_PUBLISH_URL_PREFIX/manifest.plist'>
Download ipa</a><h1/>
</body>
</html>" > download.html ;
然后再把各种资源传到远程发布的web server就好了
代码语言:javascript复制PACKAGE_PUBLISH_SSH_CERT="ssh 登入密钥地址";
PACKAGE_PUBLISH_HOST="远程主机地址";
PACKAGE_PUBLISH_DIR="对应$PACKAGE_PUBLISH_URL_PREFIX得发布目录";
IPA_PATH="$PROJECT_NAME/Unity-iPhone.ipa";
if [ ! -e "$IPA_PATH" ]; then
IPA_PATH=$(find "$PROJECT_NAME" -name "*.ipa");
fi
if [ -e "$IPA_PATH" ]; then
scp -i $PACKAGE_PUBLISH_SSH_CERT "$IPA_PATH" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/$PROJECT_NAME.ipa" ;
scp -i $PACKAGE_PUBLISH_SSH_CERT exportOptions.plist download.html "$PROJECT_NAME/manifest.plist" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/" ;
fi
if [ -e bin/Unity-iPhone.xcarchive ]; then
if [ -e Unity-iPhone.xcarchive.7z ]; then
rm -f Unity-iPhone.xcarchive.7z;
fi
# 7z可以通过brew install 7z安装。7z得压缩速度比较快(可以多线程压缩)而且压缩率也比较高
export PATH=$PATH:/usr/local/bin ;
7z a -r -y Unity-iPhone.xcarchive.7z bin/Unity-iPhone.xcarchive ;
scp -i $PACKAGE_PUBLISH_SSH_CERT Unity-iPhone.xcarchive.7z "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR" ;
fi
# copy images
if [ -e "$DISPLAY_IMAGE_PATH" ]; then
scp -i $PACKAGE_PUBLISH_SSH_CERT "$DISPLAY_IMAGE_PATH" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/$DISPLAY_IMAGE_NAME" ;
fi
if [ -e "$FULL_SIZE_IMAGE_PATH" ]; then
scp -i $PACKAGE_PUBLISH_SSH_CERT "$FULL_SIZE_IMAGE_PATH" "$PACKAGE_PUBLISH_HOST:$PACKAGE_PUBLISH_DIR/$FULL_SIZE_IMAGE_NAME" ;
fi
ssh -i $PACKAGE_PUBLISH_SSH_CERT "$PACKAGE_PUBLISH_HOST" "chmod 777 $PACKAGE_PUBLISH_DIR/*" ;