python—android编译中build_image.py分析

江南才子

　　最近在学习python，基础知识学习了一遍。我的学习习惯是：了解了基础语法后，去阅读开源代码（掌握优秀程序员的一些写代码习惯和手法），最后结合项目实践，实践的过程对某些细节进行深化。
想起android编译系统中有一些python脚本，下面对build_image.py进行简单分析。编译系统中调用build_image.py生成系统镜像的target在build\core\Makefile中，

#----------build\core\Makefile-------------# $(1): output filedefine build-systemimage-target  @echo "Target system fs image: $(1)"
  @mkdir -p $(dir $(1)) $(systemimage_intermediates) && rm -rf $(systemimage_intermediates)/system_image_info.txt  $(call generate-userimage-prop-dictionary, $(systemimage_intermediates)/system_image_info.txt, skip_fsck=true)  $(hide) PATH=$(foreach p,$(INTERNAL_USERIMAGES_BINARY_PATHS),$(p):)$$PATH \
      ./build/tools/releasetools/build_image.py \      $(TARGET_OUT) $(systemimage_intermediates)/system_image_info.txt $(1)
endef

其中，可以看出来主要是借助了build_image.py去生成镜像，/build/tools/releasetools/build_image.py $(TARGET_OUT) $(systemimage_intermediates)/system_image_info.txt $(1) ， 有三个参数，一个是作为输入的文件目录，system_image_info.txt，和最终生成的镜像名，例如system.img。build_image.py分析由于上面makefile中是在shell中直接调用build_image.py(不是import 模块)，所以__name__为__main__，会直接调用main函数，

#参数格式必须为3个# $(TARGET_OUT) system_image_info.txt output_filedef main(argv):
  if len(argv) != 3:    print __doc__
    sys.exit(1)
  in_dir = argv[0]
  glob_dict_file = argv[1]
  out_file = argv[2]  #将system_image_info.txt中的内容保存到字典中，例如{'fs_type':'ext4',.....}
  glob_dict = LoadGlobalDict(glob_dict_file)  #basename获取文件名(不包括路径)，这里为system.img
  image_filename = os.path.basename(out_file)
  mount_point = ""
  if image_filename == "system.img":
    mount_point = "system"
  elif image_filename == "userdata.img":
    mount_point = "data"
  elif image_filename == "cache.img":
    mount_point = "cache"
  elif image_filename == "vendor.img":
    mount_point = "vendor"
  else:    print >> sys.stderr, "error: unknown image file name ", image_filename
    exit(1)  #print >> 
  #the first expression after the >> must evaluate to a “file-like” object, 
  #输入为system_image_info.txt内容字典和system
  image_properties = ImagePropFromGlobalDict(glob_dict, mount_point)  if not BuildImage(in_dir, image_properties, out_file):    print >> sys.stderr, "error: failed to build %s from %s" % (out_file, in_dir)
    exit(1)#当被直接python build_image.py执行时 __name__为__main__#当被其他import时，__name__是模块的名字，build_image#argv[0]是脚本名if __name__ == '__main__':
  main(sys.argv[1:])

其中，system_image_info.txt一个例子如下所示，一些参数及其值，

fs_type=ext4system_size=1288491008userdata_size=5835325440cache_fs_type=ext4cache_size=268435456extfs_sparse_flag=-sselinux_fc=out/target/product/msm8916_64/root/file_contextsverity=trueverity_key=build/target/product/security/verityverity_signer_cmd=out/host/linux-x86/bin/verity_signersystem_verity_block_device=/dev/block/bootdevice/by-name/systemskip_fsck=true

LoadGlobalDict函数如下，将system_image_info.txt中的内容保存到字典中，例如{‘fs_type’:’ext4’,…..}

def LoadGlobalDict(filename):
  """Load "name=value" pairs from filename"""
  d = {}
  f = open(filename)  #对文件对象的迭代
  #文件中#不处理，是注释
  #strip去除字符串两头，不包括内部的空格
  #split将字符串分割成序列 str.split(sep=None, maxsplit=-1) 
  #If maxsplit is given, at most maxsplit splits are done (thus, the list will have at most maxsplit+1 elements). 
  #>>>'1,2,3'.split(',', maxsplit=1)
  #['1', '2,3']
  #所以用=分割，只有=前面和后面2个元素
  for line in f:
    line = line.strip()    if not line or line.startswith("#"):      continue
    k, v = line.split("=", 1)
    d[k] = v
  f.close()  return d

ImagePropFromGlobalDict函数，从全局字典(system_image_info.txt中有些东西不是都有用)取出需要的东西，返回一个新字典。

def ImagePropFromGlobalDict(glob_dict, mount_point):
  """Build an image property dictionary from the global dictionary.
  Args:
    glob_dict: the global dictionary from the build system.
    mount_point: such as "system", "data" etc.
  """
  d = {}  def copy_prop(src_p, dest_p):
    if src_p in glob_dict:
      d[dest_p] = str(glob_dict[src_p]) #extfs_sparse_flag=-s
 #skip_fsck=true
 #selinux_fc=out/target/product/msm8916_64/root/file_contexts
 #将common_props属性中的值保存到新建的字典d中，
  common_props = (      "extfs_sparse_flag",      "mkyaffs2_extra_flags",      "selinux_fc",      "skip_fsck",
      )  for p in common_props:
    copy_prop(p, p)  #添加'mount_point':'system'
  d["mount_point"] = mount_point  if mount_point == "system":    #'fs_type':'ext4'
    #'partition_size':'1288491008'
    copy_prop("fs_type", "fs_type")
    copy_prop("system_size", "partition_size")  elif mount_point == "data":
    copy_prop("fs_type", "fs_type")
    copy_prop("userdata_size", "partition_size")  elif mount_point == "cache":
    copy_prop("cache_fs_type", "fs_type")
    copy_prop("cache_size", "partition_size")  elif mount_point == "vendor":
    copy_prop("vendor_fs_type", "fs_type")
    copy_prop("vendor_size", "partition_size")  return d

最后调用BuildImage函数，其实就是组了一个命令，然后执行该命令(mkuserimg.sh -s in_dir out_file ext4 system 1288491008 out/target/product/msm8916_64/root/file_contexts)。

def BuildImage(in_dir, prop_dict, out_file):
  """Build an image to out_file from in_dir with property prop_dict.
  Args:
    in_dir: path of input directory.
    prop_dict: property dictionary.
    out_file: path of the output image file.
  Returns:
    True iff the image is built successfully.
  """
  build_command = []  #字典的get方法，如果键不存在，没有任何异常，而得到None
  fs_type = prop_dict.get("fs_type", "")
  run_fsck = False
  #文件系统以ext开头
  #这里是ext4，走这里,其实就是组一个要执行的命令 mkuserimg.sh -s in_dir out_file ext4 system 1288491008 out/target/product/msm8916_64/root/file_contexts
  if fs_type.startswith("ext"):
    build_command = ["mkuserimg.sh"]    if "extfs_sparse_flag" in prop_dict:
      build_command.append(prop_dict["extfs_sparse_flag"])
      run_fsck = True
    build_command.extend([in_dir, out_file, fs_type,
                          prop_dict["mount_point"]])    if "partition_size" in prop_dict:
      build_command.append(prop_dict["partition_size"])    if "selinux_fc" in prop_dict:
      build_command.append(prop_dict["selinux_fc"])  else:
    build_command = ["mkyaffs2image", "-f"]    #split用于将字符串分割成list，没有参数表示用空格分割
    if prop_dict.get("mkyaffs2_extra_flags", None):
      build_command.extend(prop_dict["mkyaffs2_extra_flags"].split())
    build_command.append(in_dir)
    build_command.append(out_file)    if "selinux_fc" in prop_dict:
      build_command.append(prop_dict["selinux_fc"])
      build_command.append(prop_dict["mount_point"])  #执行该命令mkuserimg.sh -s in_dir out_file ext4 system
  exit_code = RunCommand(build_command)  if exit_code != 0:    return False# >>> os.path.dirname('c:\\Python\\a.txt') 返回目录# 'c:\\Python'# >>> os.path.basename('c:\\Python\\a.txt') 返回文件名# 'a.txt'# os.path.join连接目录与文件名或目录
  #skip_fsck=true，不走这里 
  if run_fsck and prop_dict.get("skip_fsck") != "true":    # Inflate the sparse image
    unsparse_image = os.path.join(
        os.path.dirname(out_file), "unsparse_" + os.path.basename(out_file))
    inflate_command = ["simg2img", out_file, unsparse_image]
    exit_code = RunCommand(inflate_command)    #This function is semantically identical to unlink().
    #remove和unlink一样
    if exit_code != 0:
      os.remove(unsparse_image)      return False
    # Run e2fsck on the inflated image file
    e2fsck_command = ["e2fsck", "-f", "-n", unsparse_image]
    exit_code = RunCommand(e2fsck_command)
    os.remove(unsparse_image)  return exit_code == 0

其中，RunCommand其实就类似于c语言中的system()，执行一段命令，获取返回值，用popen实现的。

def RunCommand(cmd):
  """ Echo and run the given command
  Args:
    cmd: the command represented as a list of strings.
  Returns:
    The exit code.
  """
  print "Running: ", " ".join(cmd)  #创建子进程
  p = subprocess.Popen(cmd)  #等待子进程执行完
  p.communicate()  return p.returncode

最终其实是调用了mkuserimg.sh脚本，脚本核心是调用make_ext4fs 应用程序

#system\extras\ext4_utils\mkuserimg.shfunction usage() {
cat<<EOT
Usage:
mkuserimg.sh [-s] SRC_DIR OUTPUT_FILE EXT_VARIANT MOUNT_POINT SIZE [FILE_CONTEXTS]
EOT
}echo "in mkuserimg.sh PATH=$PATH"ENABLE_SPARSE_IMAGE=if [ "$1" = "-s" ]; then
  ENABLE_SPARSE_IMAGE="-s"
  shiftfiif [ $# -ne 5 -a $# -ne 6 ]; then
  usage  exit 1fiSRC_DIR=$1if [ ! -d $SRC_DIR ]; then
  echo "Can not find directory $SRC_DIR!"
  exit 2fiOUTPUT_FILE=$2EXT_VARIANT=$3MOUNT_POINT=$4SIZE=$5FC=$6case $EXT_VARIANT in
  ext4) ;;
  *) echo "Only ext4 is supported!"; exit 3 ;;esacif [ -z $MOUNT_POINT ]; then
  echo "Mount point is required"
  exit 2fiif [ -z $SIZE ]; then
  echo "Need size of filesystem"
  exit 2fiif [ -n "$FC" ]; then
    FCOPT="-S $FC"fi#核心是make_ext4fs 应用程序MAKE_EXT4FS_CMD="make_ext4fs $ENABLE_SPARSE_IMAGE $FCOPT -l $SIZE -a $MOUNT_POINT $OUTPUT_FILE $SRC_DIR"echo $MAKE_EXT4FS_CMD$MAKE_EXT4FS_CMDif [ $? -ne 0 ]; then
  exit 4fi

而make_ext4fs 应用程序具体在system\extras\ext4_utils中生成，makefile如下，其中makefile中有两个make_ext4fs的module，一个是host(BUILD_HOST_EXECUTABLE)，一个是target的(BUILD_EXECUTABLE)，这个命令是在编译机调用，也就是host上而不是target上。

include $(CLEAR_VARS)LOCAL_SRC_FILES := make_ext4fs_main.cLOCAL_MODULE := make_ext4fsLOCAL_STATIC_LIBRARIES += \
    libext4_utils_host \
    libsparse_host \
    libz
ifeq ($(HOST_OS),windows)  LOCAL_LDLIBS += -lws2_32else
  LOCAL_STATIC_LIBRARIES += libselinux  LOCAL_CFLAGS := -DHOSTendifinclude $(BUILD_HOST_EXECUTABLE)