Deberá tener modelos informáticos de lugares y sonidos relacionados con la realidad física, así como determinar la situación exacta de cada usuario, y ser capaz de mostrar al usuario una representación realista del entorno que se ha añadido virtualmente. Es muy importante determinar la orientación y posición exacta del usuario, sobre todo en las aplicaciones que así lo requieran: uno de los retos más importante que se tiene a la hora de desarrollar proyectos de Realidad Aumentada es que los elementos visuales estén coordinados a la perfección con los objetos reales, puesto que un pequeño error de orientación puede provocar un desalineamiento perceptible entre los objetos virtuales y físicos. En zonas muy amplias los sensores de orientación usan magnetómetros, inclinómetros, sensores inerciales... que pueden verse afectados gravemente por campos magnéticos, y por lo tanto se ha de intentar reducir al máximo este efecto. Sería interesante que una aplicación de Realidad Aumentada pudiera localizar elementos naturales (como árboles o rocas) que no hubieran sido catalogados previamente, sin que el sistema tuviera que tener un conocimiento previo del territorio. Como reto a largo plazo es posible sugerir el diseño de aplicaciones en los que la realidad aumentada fuera un poco más allá, lo que podemos llamar "realidad aumentada retroalimentada", esto es, que la "descoordinación" resultante del uso de sensores de posición/orientación, fuera corregida midiendo las desviaciones entre las medidas de los sensores y las del mundo real. Imagina un sistema de realidad aumentada que partiendo de pares de imágenes estéreo obtenidas de dos cámaras solidarias al usuario (head-mounted) y de la posición del mismo, fuera capaz de determinar la posición y orientación exacta del que mira.
