Incorporating Angular Ratio Images into Two-Frame Stereo Algorithms

Incorporación de las imágenes de relación angular en algoritmos de estéreo binocular

Pablo Arturo Martínez González and Mario Castelán

Robótica y Manufactura Avanzada, CINVESTAV - Unidad Saltillo Carretera Saltillo-Monterrey Km. 13.5, C.P. 25900, Ramos Arizpe, Coah. Mexico. Correo: pablo.martinez@cinvestav.edu.mx, mario.castelan@cinvestav.edu.mx.

Article received on 01/02/2010.
Accepted on 10/01/2011.

Abstract

Light Transport Constancy (LTC) asserts that the reflectance ratio obtained from two different illumination variations remains constant for any given view of the observed scene. LTC was proposed in [21] as a rank constraint for solving the correspondence problem in multiple view stereo. In two-frame stereo, the simplest setting for LTC requires only two illumination variations and a single light source. Under this scenario, the rank constraint can be formulated through ratio images, and standard stereo algorithms can be applied in order to obtain a disparity map. Unfortunately, a ratio image may be subject to saturated pixel values, and this may diminish the quality of disparity maps. To solve this problem, as a first contribution in this work, we propose a post-processing operation based on slope angles related to the ratio values. Experiments show that new angular ratio images are more robust and deliver improved disparity maps. A second contribution of this paper consists in performing an experimental evaluation of angular ratio images under the standard test bed for two-view stereo algorithms, i.e., using different aggregation and optimization approaches. The results of our research are consistent with previously reported conclusions for two-view stereo surveys. It means that LTC may benefit from a vast variety of existent methods to solve the two-view stereo problem.

Keywords: Light Transport Constancy, two-frame stereo, ratio images.

Resumen

La Constancia de Transportación de la Luz (LTC) establece que la relación de reflectancia obtenida de dos diferentes variaciones en iluminación permanece constante para cualquier vista dada de la escena observada. En [21] LTC fue propuesta como una restricción de rango para resolver el problema de la correspondencia en estéreo de múltiples vistas. En estéreo binocular, el escenario más simple para LTC requiere solamente dos variaciones en iluminación y una sola fuente de luz. Bajo este escenario, la restricción de rango puede ser formulada a través de las imágenes de relación y los algoritmos estéreo estándar son aplicados con el objeto de obtener un mapa de disparidad. Desafortunadamente, una imagen de relación puede ser sujeta a valores de pixeles saturados, los cuales pueden disminuir la calidad de los mapas de disparidad. Para superar este problema, como una primera contribución en este artículo presentamos una operación de post-procesado basada en los ángulos de pendiente relacionados a los valores de relación. Los experimentos muestran que las nuevas imágenes de relación son más robustas y ofrecen mejores mapas de disparidad. Como una segunda contribución, realizamos evaluación experimental de las imágenes de relación angular bajo una cama de pruebas estándar para algoritmos de estéreo binocular, i.e., usando diferentes enfoques de agregación y optimización. Los resultados de esta investigación son consistentes con conclusiones previamente reportadas en estudios sobre estéreo. Esto significa que LTC puede beneficiarse de una vasta variedad de métodos existentes para el problema de estéreo binocular.

DESCARGAR ARTÍCULO EN FORMATO PDF

Acknowledgements

This work has been supported by Project Conacyt Ciencia Básica 61593.

References

1. Bobick, A.F. & Intille, S.S. (1999). Large occlusion stereo. International Journal of Computer Vision, 33(3), 181-200.         [ Links ]

2. Bolles, R.C., Baker, H.H., & Hannah, M.J. (1993). The JISCT stereo evaluation. Image Understanding Workshop (263-274). San Francisco, CA.: Morgan Kaufmann Publishers.         [ Links ]

3. Boykov, Y., Veksler, O., & Zabih, R. (2001). Fast approximate energy minimization via graph cuts. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(11), 1222-1239.         [ Links ]

4. Brown, M.Z., Burschka, D., & Hager, G.D. (2003). Advances in computational stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(8), 993-1008.         [ Links ]

5. Burt, P.J. & Adelson, E.H. (1983). The Laplacian pyramid as a compact image code. IEEE Transactions on Communications, 31(4), 532-540.         [ Links ]

6. Georghiades, A.S., Belhumeur, P.N., & Kriegman, D.J. (2001). From few to many: illumination cone models for face recognition under variable lighting and pose. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(6), 643-660.         [ Links ]

7. Geman, S. & Geman, D. (1984). Stochastic relaxation, Gibbs distribution, and the Bayesian restoration of images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 6(6), 721-741.         [ Links ]

8. Gong, M., Yang, R., Wang, L., & Gong, M. (2007). A Performance Study on Different Cost Aggregation Approaches Used in Real-Time Stereo Matching. International Journal of Computer Vision, 75(2), 283-296.         [ Links ]

9. Heo, Y.S., Lee, K.M., & Lee, S.U. (2008). Illumination and Camera Invariant Stereo Matching. IEEE Conference on Computer Vision and Pattern Recognition. Anchorage, Alaska, 1-8.         [ Links ]

10. Hernandez, C., Vogiatzis, G., & Cipolla, R. (2008). Multiview Photometric Stereo. IEEE Transactions on Pattern Analysis and Machine Intelligence, 30(3), 548-554.         [ Links ]

11. Hirschmüller, H. & Scharstein, D. (2009). Evaluation of Stereo Matching Costs on Images with Radiometric Differences. IEEE Transactions on Pattern Analysis and Machine Intelligence, 31(9), 1582-1599.         [ Links ]

12. Liao, M., Wang, L., Yang, R., & Gong, M. (2007). Light Fall-off Stereo. IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, USA, 1-8.         [ Links ]

13. Magda, S., Kriegman, D.J., Zickler, T., & Belhumeur, P.N. (2001). Beyond Lambert: Reconstructing surfaces with arbitrary BRDFs. Eighth IEEE International Conference on Computer Vision, Vancouver, Canada, 2, 391-398.         [ Links ]

14. Marroquin, J., Mitter, S., & Poggio, T. (1987). Probabilistic solution of ill-posed problems in computational vision. Journal of the American Statistical Association, 82(397), 76-89.         [ Links ]

15. Scharstein, D. & Szeliski, R. (1998). Stereo matching with nonlinear diffusion. International Journal of Computer Vision, 28(2), 155-174.         [ Links ]

16. Scharstein, D. & Szelisky, R. (2002). A Taxonomy and Evaluation of Dense Two-Frame Stereo Correspondence Algorithms. International Journal of Computer Vision, 47(1-3), 7-42.         [ Links ]

17. Scharstein, D. & Szeliski, R. (2003). High accuracy stereo depth maps using structured light. 2003 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Wisconsin, USA, 1, 195-202.         [ Links ]

18. Seitz, S.M., Curless, B., Diebel, J., Scharstein, D., & Szeliski, R. (2006). A Comparison and Evaluation of Multi-View Stereo Reconstruction Algorithms. 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, New York, USA, 1, 519-528.         [ Links ]

19. Szeliski, R. & Zabih, R. (1999). An experimental comparison of stereo algorithms. In Springer: Berlin, International Workshop on Vision Algorithms, Keyra, Greece, 1-19.         [ Links ]

20. Tao, H., Sawhney, H., & Kumar, R. (2001). A global matching frame-work for stereo computation. Eighth IEEE International Conference on Computer Vision, Vancouver, Canada, 1, 532-539.         [ Links ]

21. Wang, L., Yang, R., & Davis, J.E. (2007). BRDF Invariant Stereo Using Light Transport Constancy. IEEE Transactions on Pattern Analysis and Machine Intelligence, 29(9), 1616-1626.         [ Links ]

22. Woodham, R.J. (1980). Photometric method for determining surface orientation from multiple images. Optical Engineering, 19(1), 139-144.         [ Links ]

23. Zabih, R. & Woodfill, J. (1994). Non-parametric local transforms for computing visual correspondence. Third European Conference on Computer Vision, Stockholm, Sweden, 2, 151-158.         [ Links ]

24. Zickler, T.E., Belhumeur, P.N., & Kriegman, D.J. (2002). Helmholtz stereopsis: exploiting reciprocity for surface reconstruction. International Journal of Computer Vision, 49(2-3), 215-227.         [ Links ]