AR/VR技術交流群 129340649

Qualcomm的Vuforia引擎是最強大的增強現實引擎之一。將它和JPCT-AE結合是一個很好的想法，它可以讓你的Android裝置實現讓人驚奇的AR場景。

其中在Android端和iOS端的Vuforia Native版本是需要進行NDK程式設計，並且對於3D渲染這塊做的不是很好，它採用的方案是將模型檔案轉換成.h或者java檔案，將其中的點線面等資料儲存，然後使用OpenGL讀取並繪製。這種方案的弊端有很多，比如模型檔案過大，不適合多貼圖，渲染效果不好等等。將Vuforia與3D渲染引擎在原生程式碼中融合一直是我想做的事情，這篇稿子主要講述Android端的Vuforia原生程式碼與jpct-AE得融合。

jpct-AE是一款免費的Android 系統下的3D渲染引擎。他是一款基於OpenGL技術開發的3D圖形引擎(PC環境為標準OpenGL，Android為OpenGL ES)， 以Java語言為基礎的，擁有功能強大的Java 3D解決方案。

Vuforia和jpct都是使用OpenGL es中的GLSurfaceView進行繪製顯示 的。開啟ImageTargetsRenderer.java檔案，這個是OpenGL渲染類，我們需要把Jpct的程式碼插入進來。

首先，為ImageTargetsRenderer建立一個建構函式。在這個建構函式裡，將Activity作為引數傳遞進來，也在這個建構函式中初始化場景。

public ImageTargetsRenderer(ImageTargets activity){
        this.mActivity = activity;
        world = new World();
	world.setAmbientLight(20, 20, 20);

	sun = new Light(world);
	sun.setIntensity(250, 250, 250);

	// Create a texture out of the icon...:-)
	Texture texture = new Texture(BitmapHelper.rescale(BitmapHelper.convert(mActivity.getResources().getDrawable(R.drawable.ic_launcher)), 64, 64));
	TextureManager.getInstance().addTexture("texture", texture);

	cube = Primitives.getCube(10);
	cube.calcTextureWrapSpherical();
	cube.setTexture("texture");
	cube.strip();
	cube.build();

	world.addObject(cube);

        cam = world.getCamera();
        cam.moveCamera(Camera.CAMERA_MOVEOUT, 50);
        cam.lookAt(cube.getTransformedCenter());

	SimpleVector sv = new SimpleVector();
	sv.set(cube.getTransformedCenter());
	sv.y -= 100;
	sv.z -= 100;
	sun.setPosition(sv);
	MemoryHelper.compact();

    }
 

然後在ImageTargets.java檔案中，修改ImageTargetRenderer的初始化將activity作為引數傳遞進結構體中。

        mRenderer = new ImageTargetsRenderer(this);
        mRenderer.mActivity = this;
        mGlView.setRenderer(mRenderer);

然後在ImageTargetRenderer類中的onSurfaceChanged方法中，把jpct的framebuffer的初始化程式碼插入進來，同樣也是從jpct的例子中得來。

if (fb != null) {
     fb.dispose();
}
fb = new FrameBuffer(width, height);

好了，我們已經初始化場景和framebuffer,下一步就要使用jpct來繪製模型。（我們使用jpct的主要目的就是希望用他來繪製我們的虛擬場景）。需要在onDrawFrame()方法中完成。將下面的方法插入進onDrawFrame()方法中。

world.renderScene(fb);
world.draw(fb);
fb.display(); 

這裡不需要fb.clear()。因為QCAR的本地openGL程式碼已經清除了framebuffer.如果這裡再清除一次，就會清除攝像頭拍攝的真實場景。

這時，如果你開啟APP，會在真實場景上面看到一個矩形。（當然這個矩形目前還沒有完成註冊，還需要我們計算的攝像頭矩陣）。

這裡我們需要修改原生代碼，即jni檔案中的程式碼。開啟ImageTargets.cpp檔案，到JNIEXPORT void JNICALL Java_com_qualcomm_QCARSamples_ImageTargets_ImageTargetsRenderer_renderFrame(JNIEnv *, jobject)這個方法的實現下。

這裡是標準的OpenGL的程式碼。逐幀迴圈執行的執行緒。在Android中這是一個單獨的執行緒。在這個方法裡，framebuffer被清空，計算得到投影矩陣和模型檢視矩陣，並且繪製模型。

這裡不需要使用Vuforia渲染，渲染的任務交給jPCT-AE即可。刪除一些不必要的語句，最後如下：

{
    // Clear color and depth buffer 
    glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
    // Get the state from QCAR and mark the beginning of a rendering section
    QCAR::State state = QCAR::Renderer::getInstance().begin();
    // Explicitly render the Video Background
    QCAR::Renderer::getInstance().drawVideoBackground();
    // Did we find any trackables this frame?
    for(int tIdx = 0; tIdx < state.getNumTrackableResults(); tIdx++)
    {
        // Get the trackable:
        const QCAR::TrackableResult* result = state.getTrackableResult(tIdx);
        const QCAR::Trackable& trackable = result->getTrackable();
        QCAR::Matrix44F modelViewMatrix = QCAR::Tool::convertPose2GLMatrix(result->getPose());        
    }
    QCAR::Renderer::getInstance().end();
}

使用NDK進行編譯。接下來我們需要將native層計算得出的模型檢視矩陣和投影矩陣傳遞到java層。建立瞭如下方法接受從native層傳遞進來的矩陣，它是一個4X4的矩陣。

public void updateModelviewMatrix(float mat[]) {
    modelViewMat = mat;
}

由於矩陣（模型檢視矩陣和投影矩陣）是每幀都需要計算和檢測的，所以這個方法也應該迴圈呼叫。所以需要在native層中的renderFrame方法中呼叫該方法。這裡用到Jni程式設計的一些規則，不清楚的同學可以去參考相關資料。

jclass activityClass = env->GetObjectClass(obj); //獲取Activity
jmethodID updateMatrixMethod = env->GetMethodID(activityClass, "updateModelviewMatrix", "([F)V");

接下來就需要將估算的矩陣結果傳遞到java層。

	jfloatArray modelviewArray = env->NewFloatArray(16);
	for(int tIdx = 0; tIdx < state.getNumTrackableResults(); tIdx++)
	{
		// Get the trackable:
		const QCAR::TrackableResult* result = state.getTrackableResult(tIdx);
		const QCAR::Trackable& trackable = result->getTrackable();
		QCAR::Matrix44F modelViewMatrix = QCAR::Tool::convertPose2GLMatrix(result->getPose());

		SampleUtils::rotatePoseMatrix(90.0f, 1.0f, 0, 0, &modelViewMatrix.data[0]);

		QCAR::Matrix44F inverseMV = SampleMath::Matrix44FInverse(modelViewMatrix);
		QCAR::Matrix44F invTranspMV = SampleMath::Matrix44FTranspose(inverseMV);

		// 將資料傳遞到java層
		env->SetFloatArrayRegion(modelviewArray, 0, 16, invTranspMV.data);
		env->CallVoidMethod(obj, updateMatrixMethod, modelviewArray);
	}


	// hide the objects when the targets are not detected
	if (state.getNumTrackableResults() == 0) {
		float m [] = {
				1,0,0,0,
				0,1,0,0,
				0,0,1,0,
				0,0,-10000,1
		};
		env->SetFloatArrayRegion(modelviewArray, 0, 16, m);
		env->CallVoidMethod(obj, updateMatrixMethod, modelviewArray);
	}
	env->DeleteLocalRef(modelviewArray);

這裡對modelViewMatrix矩陣在X軸上進行旋轉180°，因為JPCT的座標系繞X軸旋轉了180°。使用SetFloatArrayRegion將矩陣結果設定成浮點陣列型別。最後通過native層呼叫java層方法updateMatrix將結果向Java層傳遞。

public void updateCamera() {
		if (modelViewMat != null) {
			float[] m = modelViewMat;


			final SimpleVector camUp;
			if (mActivity.isPortrait()) {
				camUp = new SimpleVector(-m[0], -m[1], -m[2]);
			} else {
				camUp = new SimpleVector(-m[4], -m[5], -m[6]);
			}
			
			final SimpleVector camDirection = new SimpleVector(m[8], m[9], m[10]);
			final SimpleVector camPosition = new SimpleVector(m[12], m[13], m[14]);
			
			cam.setOrientation(camDirection, camUp);
			cam.setPosition(camPosition);
			
			cam.setFOV(fov);
			cam.setYFOV(fovy);
		}
	}

由於不同的裝置具有不同的FOV。這個就和攝像頭的標定有關了。在QCAR庫中提供了計算的函式，包括水平和垂直的FOV，看下面的程式碼。

這裡使用QCAR攝像頭標定的方法，獲取攝像頭的內部物理引數，這個在關於3D模型AR應用中也是必須的。

const QCAR::CameraCalibration& cameraCalibration = QCAR::CameraDevice::getInstance().getCameraCalibration();
QCAR::Vec2F size = cameraCalibration.getSize();
QCAR::Vec2F focalLength = cameraCalibration.getFocalLength();
float fovyRadians = 2 * atan(0.5f * size.data[1] / focalLength.data[1]);
float fovRadians = 2 * atan(0.5f * size.data[0] / focalLength.data[0]);

Java層：

	public void setFov(float fov) {
		this.fov = fov;
	}
	
	public void setFovy(float fovy) {
		this.fovy = fovy;
	}

jmethodID fovMethod = env->GetMethodID(activityClass, "setFov", "(F)V");
jmethodID fovyMethod = env->GetMethodID(activityClass, "setFovy", "(F)V");

env->CallVoidMethod(obj, fovMethod, fovRadians);
env->CallVoidMethod(obj, fovyMethod, fovyRadians);