OpenFace 调试记录

江南才子

1.OpenFace 是 卡耐基梅陇（CMU）大学的一个图像+机器学习项目，整体程序包含：人脸发现，特征提取，特征神经网络训练，人脸识别这四部分。
github   https://github.com/cmusatyalab/openface/
API文档  http://openface-api.readthedocs.io/en/latest/index.html
website  http://cmusatyalab.github.io/openface/
2.安装
官方安装说明    http://cmusatyalab.github.io/openface/setup/
说的不是很详细，很多关键依赖以及基本概念并没有讲清楚。很容易导致安装、编译失败。
2.1操作系统
只支持Linux 和OSX，官方强烈推荐使用docker镜像来使用，不过为了运行加速或自主修改，还是建议大家从源码搭建。
OpenFace已经在ubuntu14.04和OSX10.10上成功测试。
我使用ubuntu14.04.5 https://mirror.tuna.tsinghua.edu.cn/ubuntu-releases/14.04.5/ubuntu-14.04.5-desktop-amd64.iso
2.2从头安装
我的实验室位置在西安，更换中科大的软件源超屌  http://mirrors.ustc.edu.cn trasty ，以下所有依赖的安装速度均与网速有关，也可能跟长城有关，安装时还需要耐心等待。若某一步安装不成功可以重启计算机重新安装。

sudo apt-get update
sudo apt-get install ssh git curl zsh vim #安装基本工具
sudo -i #进入root，基本上主要程序都放在/root/目录下，只有openface源码放在/home/usr/也可以。

#安装必要依赖

1 sudo apt-get install build-essential cmake gfortran  libatlas-dev libavcodec-dev libavformat-dev libboost-all-dev libgtk2.0-dev libjpeg-dev liblapack-dev libswscale-dev pkg-config python-dev python-pip wget zip

#必要的数值计算库

1 pip2 install numpy -i https://pypi.tuna.tsinghua.edu.cn/simple #选择下载镜像，可以加速，
2 
3 pip2 install scipy #numpy安装成功后，scipy总失败，reboot之后就好了
4 
5 pip2 install pandas
6 
7 pip2 install scikit-learn
8 
9 pip2 install scikit-image #发现安装慢也可以使用 sudo apt-get install python-skimage的方式

#安装Torch 基于lua的科学计算工具，其包管理器是luarocks。

1 sudo apt-get install luarocks
 2 
 3 curl -s https://raw.githubusercontent.com/torch/ezinstall/master/install-deps  | bash -e  #安装Torch的依赖库
 4 
 5 git clone https://github.com/torch/distro.git ~/torch --recursive #源码
 6 
 7 cd torch
 8 
 9 bash install-deps  #(cloning openblas)
10 
11 ./install.sh #源码安装torch 如果网络被墙也可以从www.pandaroll.cn/openface/torch.tar.gz 下载 ，解压：tar -xvf torch.tar.gz

#再安装torch需要的依赖，下载

1 ~/torch/install/bin/luarocks install moses #若安装很慢可以从源码解压后直接安装，下载：www.pandaroll.cn/openface/Moses-master.zip 然后在终端输入~/torch/install/bin/luarocks install Moses-master/rockspec/moses-1.4.0-1.rockspec
 2 
 3 ~/torch/install/bin/luarocks install torchx #www.pandaroll.cn/openface/torchx-master.zip
 4 
 5 ~/torch/install/bin/luarocks install nn #www.pandaroll.cn/openface/nn-master.zip
 6 
 7 ~/torch/install/bin/luarocks install dpnn #www.pandaroll.cn/openface/dpnn-master.zip
 8 
 9 ~/torch/install/bin/luarocks install csvigo #www.pandaroll.cn/openface/lua---csv-master.zip
10 
11 ~/torch/install/bin/luarocks install fblualib #www.pandaroll.cn/openface/fblualib-master.zip
12 
13 ~/torch/install/bin/luarocks install optim #www.pandaroll.cn/openface/optim-master.zip

#安装opencv

1 sudo apt-get install libjpeg-dev libpng-dev libtiff-dev libjasper-dev
2 
3 sudo apt-get -qq install libopencv-dev build-essential checkinstall cmake pkg-config yasm libjpeg-dev libjasper-dev libavcodec-dev libavformat-dev libswscale-dev libdc1394-22-dev libxine-dev libgstreamer0.10-dev libgstreamer-plugins-base0.10-dev libv4l-dev python-dev python-numpy libtbb-dev libqt4-dev libgtk2.0-dev libmp3lame-dev libopencore-amrnb-dev libopencore-amrwb-dev libtheora-dev libvorbis-dev libxvidcore-dev x264 v4l-utils

下载opencv https://github.com/Itseez/opencv/archive/2.4.11.zip 或 http://www.pandaroll.cn/openface/ocv.zip

1 cd ~
 2 
 3 unzip ocv.zip
 4 
 5 cd opencv-2.4.11
 6 
 7 mkdir release
 8 
 9 cd release
10 
11 cmake -G "Unix Makefiles" -D CMAKE_CXX_COMPILER=/usr/bin/g++ CMAKE_C_COMPILER=/usr/bin/gcc -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -D WITH_TBB=ON -D BUILD_NEW_PYTHON_SUPPORT=ON -D WITH_V4L=ON -D INSTALL_C_EXAMPLES=ON -D INSTALL_PYTHON_EXAMPLES=ON -D BUILD_EXAMPLES=ON -D WITH_QT=ON -D WITH_OPENGL=ON -D BUILD_FAT_JAVA_LIB=ON -D INSTALL_TO_MANGLED_PATHS=ON -D INSTALL_CREATE_DISTRIB=ON -D INSTALL_TESTS=ON -D ENABLE_FAST_MATH=ON -D WITH_IMAGEIO=ON -D BUILD_SHARED_LIBS=OFF -D WITH_GSTREAMER=ON ..
12 
13 sudo make all -j4 #cpu是4核
14 
15 sudo make install #若报错硬件问题或操作系统问题，可能是过热问题，换个主板或计算机，最好是台式机。

#安装无报错后将cv2.so 考到python目录下

cp /lib/cv2.so /usr/local/lib/python2.7/dist-packages

#安装dlib
下载dlib https://github.com/davisking/dlib/releases/download/v18.16/dlib-18.16.tar.bz2
若难以下载,也可以 www.pandaroll.cn/opencv/dlib-18.16.tar.bz2

1 cp dlib-18.16.tar.bz2 ~/src
 2 
 3 cd src
 4 
 5 tar xf dlib-18.16.tar.bz2
 6 
 7 cd dlib-18.16/python_examples
 8 
 9 mkdir build
10 
11 cd build
12 
13 cmake ../../tools/python
14 
15 cmake --build . --config Release
16 
17 sudo cp dlib.so /usr/local/lib/python2.7/dist-packages

#到目前，opencv 和 dlib应该安装好了，测试一下安装成功否：

1 python
2 
3 import cv2
4 
5 import dlib

#若都成功，则继续下面的步骤
#安装openface

1 git clone https://github.com/cmusatyalab/openface.git #若下载太慢则：www.pandaroll.cn/openface/openface.zip ,然后解压unzip openface.zip，可以放到/home/usr/目录下面。
2 
3 git submodule init 
4 
5 git submodule update 
6 
7 cd openface
8 
9 sudo python2 setup.py install

#获取模型

1 cd models/get-models.sh #若下载太慢
2 
3 则下载 www.pandaroll.cn/openface/shape_predictor_68_face_landmarks.dat.bz2 ，放入 models/dlib中
4 
5 bunzip2 shape_predictor_68_face_landmarks.dat.bz2 
6 
7 下载 www.pandaroll.cn/openface/celeb-classifier.nn4.small2.v1.pkl ，放入 models/openface中
8 
9 下载 www.pandaroll.cn/openface/nn4.small2.v1.t7 ，放入 models/openface中

========================安装完成==========
3.测试
3.1demo1    #进入sudo -i root模式
计算不同面孔之间的相似度距离：

1 cd openface
2 
3 ./demos/compare.py images/examples/{lennon-1.jpg,clapton-1.jpg}

运行结束后会给出一个结果:l2距离是1.132

1 ./demos/compare.py images/examples/{lennon-1.jpg,lennon-2.jpg}

运行结束后会给出一个结果:l2距离是0.763
发现：同一个人的确更相似。
3.2训练一个分类器
需要人脸原图，每个图包含一个人脸，每个人脸15张图。不同的人的照片放入不同的文件夹下。例如我收集了我自己和妹子的分别15张照片。一共相当于2个人，但是有几个人就分几个文件夹即可。将这几个文件夹放入同一个目录。

1 cd openface
2 
3 mkdir training-images
4 
5 cp -r siyi/ openface/traning-images
6 
7 cp -r naixin/ openface/traning-images

#人脸发现和矫正和裁剪 对其的新照片将放入/aligned-images/目录中，是96*96的正方形图片：

1 ./util/align-dlib.py ./training-images/ align outerEyesAndNose ./aligned-images/ --size 96

#提特征，每个人脸128个特征点，新特征为csv文件，放入了/generated-embeddings/目录中：

1 ./batch-represent/main.lua -outDir ./generated-embeddings/ -data ./aligned-images

#训练自己的面部检测模型，是最基本的SVM模型：classifier.pkl 会放入generated-embeddings/目录下：

1 ./demos/classifier.py train ./generated-embeddings/

#获取一张不在数据集中的照片，利用分类器检测并归属然后会得到一个属于哪个名字的结果 和 一个可信度数值：
新照片siyitest1.jpg：  

1 ./demos/classifier.py infer ./generated-embeddings/classifier.pkl siyitest1.jpg

分类器会给出分类结果和可信度，一般同样的人的可信度在99%左右，未在分类器中的人会低于80%。
3.3web-demo

1 sudo pip install -r demos/web/requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
2 
3 ./demos/web/start-servers.sh

安装一个usb摄像头，打开火狐浏览器：127.0.0.1：8000 可以在线添加训练，实时识别。

==完==
乔思祎
2017年3月20日

如果这篇文章帮助到了你，你可以请作者喝一杯咖啡