摘要: 三維表面重構(gòu)是計(jì)算機(jī)視覺(jué)的主要任務(wù)之一，目前已經(jīng)發(fā)展了各種各樣的重構(gòu)技術(shù)，其中利用單幅圖像中物體表面明暗變化來(lái)恢復(fù)其表面形狀的技術(shù)尤其引人注目，其主要特點(diǎn)是適用于各種其它方法難以應(yīng)用的場(chǎng)合。
      smt 形成的電路模塊產(chǎn)品中焊點(diǎn)的組裝質(zhì)量與可靠性是smt 產(chǎn)品的生命，焊點(diǎn)的三維形態(tài)重構(gòu)是smt焊點(diǎn)形態(tài)研究與檢測(cè)中的重要領(lǐng)域。對(duì)焊點(diǎn)的三維形態(tài)重構(gòu)研究，有利于指導(dǎo)改善smt焊點(diǎn)質(zhì)量及其焊接工藝，提高smt 焊點(diǎn)質(zhì)量自動(dòng)檢測(cè)能力，同時(shí)推動(dòng)智能鑒別技術(shù)的發(fā)展。本文對(duì)smt焊點(diǎn)表面三維重構(gòu)技術(shù)進(jìn)行研究，傳統(tǒng)的基于SFS原理的方法對(duì)一些不可接受焊點(diǎn)圖像重構(gòu)出的圖像不夠理想。本文對(duì)傳統(tǒng)的方法進(jìn)行了改進(jìn)，編寫(xiě)并實(shí)現(xiàn)改進(jìn)后的算法。通過(guò)使用相關(guān)的圖像處理技術(shù)，先對(duì)smt焊點(diǎn)圖像進(jìn)行處理，然后使用改進(jìn)后的重構(gòu)算法重構(gòu)出smt焊點(diǎn)表面的三維圖像，重構(gòu)出的圖像與采用傳統(tǒng)方法重構(gòu)出的圖像進(jìn)行比較，改進(jìn)的結(jié)果比較令人滿意。研究過(guò)程表明，該方法簡(jiǎn)便可行。
關(guān)鍵字：smt焊點(diǎn)；三維重構(gòu)；圖像處理；SFS  


0 引言
      由表面組裝技術(shù)（smt） 形成的電路模塊產(chǎn)品(以下簡(jiǎn)稱(chēng)smt 產(chǎn)品) ,其表面組裝焊點(diǎn)(以下簡(jiǎn)稱(chēng)smt 焊點(diǎn)) 具有既要保障電氣性能暢通、又要保障機(jī)械連接可靠的特征,它的組裝質(zhì)量與可靠性是smt 產(chǎn)品的生命。對(duì)smt焊點(diǎn)進(jìn)行應(yīng)力應(yīng)變、使用壽命、以及采用相關(guān)技術(shù)對(duì)2D圖像3D重構(gòu)分析研究，有利于指導(dǎo)改善smt焊點(diǎn)質(zhì)量及其焊接工藝，提高smt 焊點(diǎn)質(zhì)量自動(dòng)檢測(cè)能力，同時(shí)推動(dòng)智能鑒別技術(shù)的發(fā)展[1]。
根據(jù)單幅灰度圖像恢復(fù)物體的三維表面形狀是計(jì)算機(jī)視覺(jué)中的一個(gè)基本問(wèn)題，相當(dāng)于完成一個(gè)從二維空間到三維空間的映射，因此是病態(tài)的。解決這類(lèi)問(wèn)題的一個(gè)重要方法是明暗恢復(fù)形狀（Shaping from Shade 簡(jiǎn)稱(chēng)sfs）[2]，即根據(jù)一個(gè)確定的反射模型建立物體表面形狀與圖像亮度之間的約束關(guān)系，并根據(jù)對(duì)物體表面形狀的先驗(yàn)知識(shí)建立物體表面形狀參數(shù)的約束關(guān)系，然后對(duì)這些約束關(guān)系聯(lián)立求解可得到物體表面的三維形狀[5]。近年來(lái),內(nèi)外的很多學(xué)者利用該方法實(shí)現(xiàn)了根據(jù)單幅圖像的三維重構(gòu),并將其應(yīng)用到工業(yè)檢測(cè)與測(cè)量、逆向工程及自然景物模擬等領(lǐng)域[3][4]。

1 smt焊點(diǎn)表面三維重構(gòu)過(guò)程
 
    對(duì)smt焊點(diǎn)圖像3D重構(gòu)過(guò)程如圖1所示。通過(guò)CCD采集元器件焊點(diǎn)2D圖像開(kāi)始。對(duì)元器件焊點(diǎn)進(jìn)行圖像采集以后,得到彩色的BMP圖像。在本文的研究中，假設(shè)的焊點(diǎn)表面是光滑的（這點(diǎn)在現(xiàn)實(shí)中可以得到滿足）。
   圖像預(yù)處理的目的主要是把圖像轉(zhuǎn)換成灰度圖像,并通過(guò)相應(yīng)的技術(shù)改善圖像質(zhì)量,使圖像便于識(shí)別、易于處理，盡可能恢復(fù)焊點(diǎn)表面的光滑, 再通過(guò)焊點(diǎn)圖像三維重構(gòu)算法，得到smt焊點(diǎn)三維圖像。
 
2 smt焊點(diǎn)圖像處理技術(shù)
    smt焊點(diǎn)圖像采集過(guò)程中,由于元器件和焊點(diǎn)上下不平整或者有很多的污點(diǎn)、光源上面有瑕疵等一系列原因,都會(huì)使采集到的圖像產(chǎn)生噪點(diǎn)。為了提高焊點(diǎn)三維重構(gòu)的效果,采集的圖像并不直接使用,要采用相應(yīng)的算法對(duì)原圖像消除噪聲,得到比較量想的smt焊點(diǎn)圖像。然后，再利用相應(yīng)的濾波算法改進(jìn)焊點(diǎn)圖像表面的光滑度[6]。
2.1 圖像處理技術(shù)
  （1）焊點(diǎn)灰度化 
     由于彩色圖像不能達(dá)到特定三維重構(gòu)算法的要求,所以必須先將彩色圖像轉(zhuǎn)化為灰度圖像。對(duì)于彩色圖像的灰度化，可采用不同顏色表示方法之間的轉(zhuǎn)化來(lái)實(shí)現(xiàn)。由于通常對(duì)圖像顏色變換后的結(jié)果只關(guān)心它的灰度分量，而并不關(guān)心它的彩色分量部分。根據(jù)R、G、B的值求出灰度值后，就能給出灰度圖像的表示，即彩色圖像轉(zhuǎn)換為灰度圖像。
（2）低通濾波
     灰度化以后的圖像并不能消除smt焊點(diǎn)圖像上的噪點(diǎn)。一般來(lái)說(shuō)，圖像的能量主要集中在其低頻部分，噪聲所在的頻段主要在高頻段，同時(shí)所要提取的圖像信息也主要
集中在其低頻部分，使用低通濾波算法去掉
高頻干擾又同時(shí)保持低頻信息。
（3）中值濾波
    中值濾波是一種非線性信號(hào)處理技術(shù)，其在消除噪聲的同時(shí)還能保持圖像中的細(xì)節(jié)部分，防止邊緣模糊，經(jīng)典的中值濾波法是對(duì)窗口內(nèi)所有像素點(diǎn)的灰度值進(jìn)行排序，然后再取中間值作為窗口中心像素的灰度值。經(jīng)過(guò)一次低通濾波去噪，圖像已經(jīng)平滑,但是由于圖像可能存在比較大的噪點(diǎn),這些噪點(diǎn)經(jīng)過(guò)單次或者數(shù)次疊加低通濾波也無(wú)法去掉的,這時(shí)只能通過(guò)中值濾波完成。
2.2 圖像處理結(jié)果
    本文研究選取的測(cè)試對(duì)象2片0805片式電阻為例,通過(guò)CCD圖像采集設(shè)備，采集到的相應(yīng)的smt焊點(diǎn)及電阻圖像的如圖2所示： 

 
通過(guò)利用上述的算法，對(duì)圖2中的圖像進(jìn)行圖像處理, 分割出相應(yīng)的焊點(diǎn)圖片,其結(jié)果如圖3所示：
 
3 SFS算法原理
     在本文的研究過(guò)程中，先對(duì)內(nèi)外的一些SFS方法進(jìn)行了充分的調(diào)研和分析，如小值化，梯度法[7] [8]等。下面簡(jiǎn)單介紹一下SFS的基本原理。
在理想的成像下，圖像的灰度滿足反射圖函數(shù)[9]
 
其中,( p,q)為表面方向，n0 =(p0,q0 ,-1)為光源入射方向，E(x,y)表示圖像灰度，SFS方法就是從圖像灰度計(jì)算出物體的表面方向（p,q）。
    光的漫反射模型[6]中，假設(shè)光源的入射強(qiáng)度為I，物體表面反射率為常量ρ，在三維坐標(biāo)軸中，光源矢量與物體表面法向量的夾角為傾角 ，光源矢量與X軸方向向量的夾角為偏角β（曲面高度方向?yàn)閆軸方向），測(cè)沿法方向的反射強(qiáng)度 E=Iρcosα。圖像中任意 點(diǎn)的反射強(qiáng)度為　Ei=Iρcosα；當(dāng)α=0時(shí)，Emax =Iρ，此點(diǎn)的亮度必然大。則圖像中亮點(diǎn)的表面法向矢量與光源矢量方向相同，則圖像中亮點(diǎn)的表面法向量也隨即確定。以光源方向?yàn)閆軸建立坐標(biāo)系統(tǒng)， 點(diǎn)與光源方向的夾角αi的值為：
 
由公式2.2，經(jīng)過(guò)相應(yīng)的數(shù)學(xué)計(jì)算，可得到偏角 的計(jì)算公式：
 
其中，Ex，Ey分別為表面法向矢量沿x, y 方向上的導(dǎo)數(shù)，αs，βs分別為光源方向的傾角和偏角。
    求得圖像中某一點(diǎn)的傾角αs和偏角βs以后，根據(jù)數(shù)學(xué)計(jì)算，得到該點(diǎn)的表面法向量。通過(guò)相應(yīng)的轉(zhuǎn)換和求解，即可計(jì)算出每個(gè)點(diǎn)的表面法向矢量。根據(jù)表面法向矢量可以繪出焊點(diǎn)表面三維形貌,參考文獻(xiàn)[10]就是通過(guò)此原理重構(gòu)出的焊點(diǎn)表面三維圖像。
從上述SFS原理分析可以看出，通過(guò)SFS原理重構(gòu)出的圖像中，點(diǎn)亮，灰度值大，則此點(diǎn)高度高。但對(duì)于一些不可接受焊點(diǎn)，如焊料過(guò)少或是焊點(diǎn)焊接錯(cuò)誤等圖像，由于焊盤(pán)暴露出來(lái)，這些點(diǎn)反射的亮度相比被覆有焊料的點(diǎn)要高，重構(gòu)后的點(diǎn)高度相對(duì)要高，而焊點(diǎn)表面的高度卻比較低,重構(gòu)出的圖像效果并不令人滿意。
3 改進(jìn)的SFS算法及實(shí)現(xiàn)
    在本文的研究過(guò)程中，汲取已有SFS算法的原理優(yōu)勢(shì)，結(jié)合smt的技術(shù)特點(diǎn)，針對(duì)上述不可接受焊點(diǎn)三維重構(gòu)的結(jié)果不理想的缺陷，設(shè)計(jì)了一種改進(jìn)的根據(jù)單幅smt焊點(diǎn)圖像進(jìn)行焊點(diǎn)表面三維重構(gòu)的算法。
通過(guò)公式2.1計(jì)算出某一點(diǎn)表面法向矢量沿x, y 方向上的導(dǎo)數(shù)Ex，Ey，由公式2.2和2.3得到圖像中某一點(diǎn)的傾角αs和偏角βs，我們得到的在光源坐標(biāo)下求得的表面法向量矢量，需要讓其轉(zhuǎn)換到焊點(diǎn)的坐標(biāo)系。轉(zhuǎn)換后計(jì)算出每個(gè)點(diǎn)的表面法向矢量。為了得到表面法向矢量高度坐標(biāo)值，先通過(guò)計(jì)算所有點(diǎn)的表面法向矢量的灰度值，得到灰度大值和小值。判斷灰度大值的位置，此點(diǎn)坐標(biāo)不在圖像中心或分布在圖像邊緣,則些圖片為焊盤(pán)暴露點(diǎn)，則對(duì)此點(diǎn)及周邊的點(diǎn)做特殊處理，灰度值越大，數(shù)值轉(zhuǎn)換得到圖像中各點(diǎn)對(duì)應(yīng)的相對(duì)高度值越小，對(duì)于其它的點(diǎn)灰度大，則此點(diǎn)高度高。數(shù)值轉(zhuǎn)換后得到圖像中各點(diǎn)對(duì)應(yīng)的相對(duì)高度值，循環(huán)算出各點(diǎn)的相對(duì)高度值之后，即完成了焊點(diǎn)圖像的三維重構(gòu)。
改進(jìn)目的有二點(diǎn)：
(1)區(qū)分出焊盤(pán)暴露點(diǎn)的和焊點(diǎn)表面上的點(diǎn)；
(2)對(duì)焊盤(pán)暴露點(diǎn)及周邊點(diǎn)的高度重構(gòu)時(shí)進(jìn)行相應(yīng)處理，按一定比例縮短化處理。
改進(jìn)算法具體流程如下步驟：
(1)讀取焊點(diǎn)圖像，取得圖像的長(zhǎng)、寬為:L,W，用于判斷大灰度值點(diǎn)的相對(duì)位置；
(2)獲取圖像的大的灰度值，并求出大的灰度值對(duì)應(yīng)的x,y坐標(biāo)，通過(guò)與W，H的對(duì)比，標(biāo)記是否為焊盤(pán)暴露點(diǎn)，同時(shí)求出周邊8個(gè)相鄰點(diǎn)的坐標(biāo)；
(3)計(jì)算光源傾角α和偏角β,計(jì)算出旋轉(zhuǎn)矩陣R，維數(shù)為size*size;初始化col=0,row=0；
(4)當(dāng)col<size時(shí)轉(zhuǎn)到(5)否則轉(zhuǎn)到(12)；
(5)當(dāng)row<size時(shí)轉(zhuǎn)到(6)否則轉(zhuǎn)到(11)；
(6)計(jì)算在x,y方向上的局部微分；
(7)計(jì)算光源三維坐標(biāo)；
(8)轉(zhuǎn)換成物體三維坐標(biāo)；
(9)計(jì)算當(dāng)前點(diǎn)的高度，對(duì)于標(biāo)記為焊盤(pán)暴露點(diǎn)及周?chē)?個(gè)點(diǎn)點(diǎn)進(jìn)行高度轉(zhuǎn)化處理；
(10)row=row+1；轉(zhuǎn)到(5) ；
(11)col=col+1；轉(zhuǎn)到(4)；
(12)輸出輸出3D圖像；
(13)算法結(jié)束。
4 改進(jìn)的smt焊點(diǎn)三維重構(gòu)方法實(shí)現(xiàn)與比較
我們以上述經(jīng)過(guò)圖像處理后得到的焊點(diǎn)圖3（b）為例，分別利用傳統(tǒng)方法SFS方法和本文描述的改進(jìn)的SFS方法重構(gòu)出焊點(diǎn)圖3（b）的三維圖像，分別得到結(jié)果下圖所示。
由圖4與圖5比較可得，重構(gòu)結(jié)果圖5優(yōu)于圖4，利用改進(jìn)后的算法重構(gòu)出的圖像結(jié)果比較令人滿意。
利用改進(jìn)后的算法，對(duì)可接受焊點(diǎn)進(jìn)行三維重構(gòu)，檢驗(yàn)對(duì)其它類(lèi)型的焊點(diǎn)重構(gòu)的效果，對(duì)圖3（a）進(jìn)行重構(gòu)，結(jié)果如下圖所示：

 
可見(jiàn)，對(duì)于可接受焊點(diǎn)，利用改進(jìn)后的算法重構(gòu)出的圖像不受影響,算法改進(jìn)基本合理。
5 總結(jié)
smt焊點(diǎn)3D重構(gòu)對(duì)焊點(diǎn)的檢測(cè)具有重要的幫助作用，同時(shí)根據(jù)重構(gòu)后的smt焊點(diǎn)3D圖像，我們可通過(guò)數(shù)學(xué)形態(tài)學(xué)的方法得到焊點(diǎn)的面積、周長(zhǎng)和焊點(diǎn)邊緣等一些信息，對(duì)smt焊點(diǎn)做更多的研究。同時(shí)將重構(gòu)后的圖像引入3D測(cè)量技術(shù)，提取smt焊點(diǎn)質(zhì)量信息，對(duì)改善smt焊點(diǎn)質(zhì)量及其焊接工藝有一定的指導(dǎo)意義和參考價(jià)值。本文對(duì)基于SFS原理結(jié)合圖像處理技術(shù)的對(duì)smt焊點(diǎn)2D圖像重構(gòu)3D圖像的方法進(jìn)行改進(jìn)，是對(duì)SFS原理重構(gòu)3D圖像的一個(gè)新的應(yīng)用拓展。通過(guò)與傳統(tǒng)方法重構(gòu)smt焊點(diǎn)表面的三維圖像比較，重構(gòu)效果要優(yōu)于傳統(tǒng)方法的結(jié)果，并解決了傳統(tǒng)方法對(duì)smt焊點(diǎn) 
中由于焊盤(pán)暴露出來(lái)而引起的重構(gòu)出的三維圖像不理想的問(wèn)題，后利用改進(jìn)后的方法對(duì)其它可接受焊點(diǎn)表面圖像進(jìn)行三維重構(gòu)結(jié)果也比較令人滿意。