DE102007001266A1 - Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device - Google Patents

Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device Download PDF

Info

Publication number
DE102007001266A1
DE102007001266A1 DE200710001266 DE102007001266A DE102007001266A1 DE 102007001266 A1 DE102007001266 A1 DE 102007001266A1 DE 200710001266 DE200710001266 DE 200710001266 DE 102007001266 A DE102007001266 A DE 102007001266A DE 102007001266 A1 DE102007001266 A1 DE 102007001266A1
Authority
DE
Germany
Prior art keywords
image
optical arrangement
optical
head
arrangement according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE200710001266
Other languages
German (de)
Inventor
Thomas Dr. Alt
Peter Meier
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Metaio GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Metaio GmbH filed Critical Metaio GmbH
Priority to DE200710001266 priority Critical patent/DE102007001266A1/en
Publication of DE102007001266A1 publication Critical patent/DE102007001266A1/en
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0127Head-up displays characterised by optical features comprising devices increasing the depth of field
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0181Adaptation to the pilot/driver
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

An image-generating device (4) creates an image and emits beams of light (12) for an image to be directed onto an image-mixing device (3) via lenses (5,8) so that the image-mixing device/vehicle windscreen blends a virtual image (10) with visual impressions of a person's (2) real surroundings so as to make it distinguishable. A beam splitter (6) fits in a beam path between the image-generating device and the image-mixing device and has an optical sensor (7).

Description

Die vorliegende Erfindung betrifft eine optische Anordnung, insbesondere für ein Head-Up-Display, die beispielsweise in einem Kraftfahrzeug eingesetzt werden kann.The The present invention relates to an optical arrangement, in particular for a head-up display, for example, in a motor vehicle can be used.

Aus dem Stand der Technik sind sogenannte Head-Up-Displays (HUD) bekannt. Diese visualisieren Daten im Sichtfeld einer wahrnehmenden Person, beispielsweise eines Fahrers eines Kraftfahrzeugs, in welchem das Head-Up-Display installiert ist, mittels einer Projektion auf einer Bildmischungsvorrichtung, beispielsweise der Windschutzscheibe des Fahrzeugs. Weitere Anwendungsfelder sind im Bereich der Bearbeitungsmaschinen beispielsweise in Druckschrift DE 103 25 895 dokumentiert.From the state of the art so-called head-up displays (HUD) are known. These visualize data in the field of view of a perceiving person, for example a driver of a motor vehicle in which the head-up display is installed, by means of a projection on an image mixing device, for example the windshield of the vehicle. Further fields of application are in the field of processing machines, for example in printed form DE 103 25 895 documented.

Bei einem derartigen Head-Up-Display wird im allgemeinen ein Bild in einer Bilderzeugungseinrichtung erzeugt, und die Lichtstrahlen des erzeugten Bildes werden über eine Optik auf die Bildmischungsvorrichtung gerichtet, beispielsweise auf die Windschutzscheibe eines Fahrzeugs. Über die Bildmischungsvorrichtung kann ein virtuelles Bild vermischt mit Seheindrücken der realen Umgebung von einer Person wahrgenommen werden, beispielsweise dem Fahrer des Kraftfahrzeugs. Aus Sicht der wahrnehmenden Person ist das virtuelle Bild beispielsweise hinter der Windschutzscheibe wahrnehmbar. In einer derartigen Anordnung wird die Windschutzscheibe auch als sogenannter Combiner bezeichnet. Ein solcher kann auch durch eine im Prinzip beliebige lichtdurchlässige Scheibe anderer Art gebildet werden.at Such a head-up display is generally a picture in an image forming device generates, and the light beams of the generated image are optically to the image mixing device directed, for example, on the windshield of a vehicle. about the image mixing device may be mixed with a virtual image Seeing the real environment perceived by a person be, for example, the driver of the motor vehicle. View For example, the person behind the picture is behind the virtual picture the windshield noticeable. In such an arrangement the windshield is also referred to as a so-called combiner. Such can also by an in principle any translucent Slice of other type are formed.

Bevor das Bild von der Bilderzeugungseinrichtung auf die Windschutzscheibe projiziert wird, werden die Lichtstrahlen des Bildes, die von der Bilderzeugungseinrichtung ausgesandt werden, über mehrere Spiegel innerhalb eines Gehäuses gefaltet (umgelenkt). Dadurch erscheint das virtuelle Bild für die wahrnehmende Person, mithin den Fahrer, schwebend hinter der Windschutzscheibe über der Motorhaube. Den Abstand zwischen der Kopfposition des Fahrers und dem virtu ellen Bild bezeichnet man auch als virtuellen Abstand. Durch die Spiegel wird zusätzlich die durch die Krümmung der Windschutzscheibe hervorgerufene Verzerrung versucht zu korrigieren.Before the image of the imaging device on the windshield is projected, the light rays of the image, which are from the Imaging device to be sent, over several Mirror folded inside a housing (redirected). This makes the virtual image appear to the perceiving one Person, thus the driver, hovers over the windshield the hood. The distance between the driver's head position and the virtual image is also called a virtual distance. Due to the mirror is also due to the curvature the windscreen caused distortion tries to correct.

Weiterhin sind sogenannte Augmented-Reality-basierte Fahrerinformationssysteme bekannt, die in ein Originalbild der aktuellen Verkehrssituation beispielsweise die Richtungsangaben des Navigationssystems einblenden. Ein sogenanntes Augmented Reality System erlaubt die Überlagerung von Seheindrücken der realen Umgebung mit computergenerierten, virtuellen Informationen, wie beispielsweise die Richtungsangaben eines Navigationssystems. Hierzu werden die Seheindrücke der realen Welt mit virtuellen Informationen gemischt. Die Einblendung der virtuellen Informationen kann dabei kontextabhängig, d. h. angepasst und abgeleitet von der jeweilig betrachteten realen Umgebung, ausgeführt sein. Als Informationen können grundsätzlich jede Art von Daten wie Texte, Abbildungen, etc. verwendet werden. Ebenso wie die visuelle Informationsanreicherung sind auch akustische und taktile Informationsanreicherungen möglich. Bei den erwähnten Augmented-Reality-basierten Fahrerinformationssystemen wird insbesondere von einer Kamera des Fahrzeugs die reale Umgebung in einem festgelegten Öffnungswinkel vor dem Fahrzeug aufgenommen, wobei in das so erzeugte Kamerabild mit der aktuellen Verkehrssituation z. B. die Richtungsangaben des Navigationssystems eingeblendet werden.Farther are so-called augmented reality-based driver information systems known in an original picture of the current traffic situation For example, show the direction information of the navigation system. A so-called augmented reality system allows the overlay from seeing the real world to computer-generated, virtual information, such as the directions a navigation system. These are the visual impressions the real world mixed with virtual information. The overlay The virtual information can be context-dependent, d. H. adapted and derived from the respective considered real Environment, be executed. As information can basically any kind of data like texts, illustrations, etc. are used. As well as the visual information enrichment are also acoustic and tactile information enrichments possible. In the mentioned augmented reality-based driver information systems is in particular from a camera of the vehicle the real environment in recorded at a fixed opening angle in front of the vehicle, wherein in the camera image thus generated with the current traffic situation z. B. the direction information of the navigation system are displayed.

Nachteilig an den vorbeschriebenen bekannten Systemen ist insbesondere, dass die Fahrerinformationen statisch mit der Umgebung des Fahrzeugs in der jeweiligen Fahrsituation überlagert werden. Desweiteren müssen aus dem Stand der Technik bekannte Head-Up-Displays hinsichtlich derjenigen Verzerrungen des Bildes aufwendig kalibriert bzw. entzerrt werden, die durch die Verzerrung der Windschutzscheibe hervorgerufen werden, oder die aufgrund mechanischer Toleranzen von einer unterschiedlichen Einbaulage des Head-Up-Displays in dem jeweiligen Fahrzeug herrühren. Diese Kalibrierung bzw. Entzerrung wird oftmals durch entsprechende mechanische Positionierung des Head-Up-Displays erreicht. Bei Verschiebungen des Head-Up-Displays relativ zur Windschutzscheibe im Lebenszyklus des Fahrzeugs, z. B. hervorgerufen durch einen Unfall oder einen Wechsel der Windschutzscheibe, müssen herkömmliche Head-Up-Displays mechanisch neu ausgerichtet und kalibriert werden.adversely to the above-described known systems is in particular that the driver information is static with the environment of the vehicle in be superimposed on the respective driving situation. Furthermore must be known from the prior art head-up displays in terms of those distortions of the image consuming calibrated or be equalized by the distortion of the windshield caused or due to mechanical tolerances from a different mounting position of the head-up display in the respective vehicle. This calibration or Equalization is often achieved by appropriate mechanical positioning reached the head-up display. For shifts of the head-up display relative to the windshield in the life cycle of the vehicle, e.g. B. caused by an accident or a windshield change, conventional head-up displays need mechanical be realigned and calibrated.

Der vorliegenden Erfindung liegt die Aufgabe zugrunde, eine optische Anordnung, insbesondere für ein Head-Up-Display, anzugeben, die in der Lage ist, einer wahrnehmenden Person, beispielsweise einem Fahrer eines Kraftfahrzeugs, möglichst verzerrungsfrei und kontextrichtig eingeblendete Informationen auf einer Bildmischungsvorrichtung darzustellen, auf welcher die bereitgestellten Informationen mit Seheindrücken der realen Umgebung vermischt werden.Of the present invention is based on the object, an optical Arrangement, in particular for a head-up display, indicate which is capable of a perceptive person, for example a driver of a motor vehicle, as possible distortion-free and contextually displayed information on an image mixing device represent on which the information provided with Seeing impressions of the real environment are mixed.

Diese Aufgabe wird gelöst durch eine optische Anordnung gemäß den Merkmalen des Patentanspruchs 1. Aus- und Weiterbildungen der Erfindung ergeben sich einerseits aus der vorliegenden Beschreibung mit Bezug auf Ausführungsformen der vorliegenden Erfindung, und sind zum anderen den Merkmalen der abhängigen Ansprüche entnehmbar.These The object is achieved by an optical arrangement according to the Features of claim 1. refinements and developments of the invention arise on the one hand from the present description with reference to embodiments of the present invention, and are on the other hand, the features of the dependent claims removable.

Die optische Anordnung gemäß der Erfindung weist eine Bilderzeugungseinrichtung zur Erzeugung eines Bildes sowie wenigstens eine Bildmischungsvorrichtung auf, wobei von der Bilderzeugungseinrichtung ausgesandte Lichtstrahlen des Bildes über eine Optik auf die Bildmischungsvorrichtung gerichtet werden, so dass über die Bildmischungsvorrichtung ein virtuelles Bild vermischt mit Seheindrücken der realen Umgebung von einer Person wahrnehmbar ist. Weiterhin sind ein Strahlenteiler in dem Strahlengang zwischen der Bilderzeugungseinrichtung und der Bildmischungsvorrichtung sowie ein optischer Sensor vorgesehen, wobei über den Strahlenteiler Lichtstrahlen von Umgebungslicht einer Umgebung der optischen Anordnung auf den optischen Sensor geleitet werden. Eine Bildauswerteeinrichtung ist mit dem optischen Sensor verbunden und dient zur Auswertung von digitalen Bildinformationen des optischen Sensors.The optical arrangement according to the invention comprises an image forming device for Er generating an image and at least one image mixing device, wherein emitted from the image generating device light rays of the image are directed via an optical system to the image mixing device, so that the image mixing device, a virtual image mixed with visual impressions of the real environment is perceptible by a person. Furthermore, a beam splitter in the beam path between the image forming device and the image mixing device and an optical sensor are provided, are passed over the beam splitter light beams of ambient light of an environment of the optical arrangement on the optical sensor. An image evaluation device is connected to the optical sensor and serves to evaluate digital image information of the optical sensor.

Die optische Anordnung ist insbesondere für den Einsatz in einem Head-Up-Display geeignet, welches beispielsweise in einem Kraftfahrzeug eingebaut ist. Die Bildmischungsvorrichtung, der sogenannte Combiner, ist beispielsweise die Windschutzscheibe des Fahrzeugs, über die von der wahrnehmenden Person, im vorliegenden Fall durch den Fahrer, das von der Bilderzeugungseinrichtung erzeugte virtuelle Bild vermischt mit Seheindrücken der realen Umgebung, die von der Windschutzscheibe durchgelassen werden, wahrgenommen werden kann. Über die optische Anordnung der vorliegenden Erfindung kann in einfacher Art und Weise eine Umgebung der optischen Anordnung im Hinblick auf die Funktionsweise der optischen Anordnung berücksichtigt werden. Beispielsweise ist es möglich, mit Hilfe des Strahlenteilers und des optischen Sensors, der insbesondere in Form einer Kamera realisiert ist, Informationen hinsichtlich der wahrnehmenden Person derart in die Funktionsweise der optischen Anordnung einfließen zu lassen, dass die von der Bilderzeugungseinrichtung gelieferten Informationen deckungsgleich mit der realen Umgebung im Sichtfeld der wahrnehmenden Person überlagert werden. Im genannten Anwendungsfall eines Kraftfahrzeugs, bei dem die optische Anordnung zusammen mit einem Head-Up-Display integriert ist, können somit Fahrerinformationen, zum Beispiel Navigationsinformationen direkt dem Objekt der Fahrumgebung – zum Beispiel der Straße, auf dem sich das Fahrzeug bewegt – überlagert werden. Das sequentielle Fokussieren des Fahrers auf die eingeblendete Information bzw. das reale Objekt in der Umgebung entfällt somit.The Optical arrangement is particularly suitable for use in a head-up display suitable, which for example in a Motor vehicle is installed. The image mixing device, the so-called Combiner, for example, is the windshield of the vehicle, over that of the perceptive person, in the present case by the Driver, the virtual generated by the imaging device Picture mixed with visual impressions of the real environment, the be heard by the windshield, be perceived can. About the optical arrangement of the present invention can in a simple way an environment of the optical arrangement considered with regard to the operation of the optical arrangement become. For example, it is possible with the help of the beam splitter and the optical sensor, in particular in the form of a camera is realized, information regarding the perceiving person in such a way in the operation of the optical arrangement flow to let that supplied by the imaging device Information congruent with the real environment in the field of vision of perceptual person to be superimposed. In the stated application a motor vehicle, wherein the optical arrangement together with integrated into a head-up display, driver information, for example navigation information directly to the object of the driving environment - to Example of the road on which the vehicle is moving - superimposed become. The sequential focusing of the driver on the displayed Information or the real object in the environment is eliminated Consequently.

Diese Art der Überlagerung ist insbesondere dadurch ermöglicht, dass zu jedem Zeitpunkt die Position der Person bzw. die Position und Blickrichtung der Augen der Person mit Hilfe des Strahlenteilers und des optischen Sensors sowie der angeschlossenen Bildauswerteeinrichtung ausgewertet werden können und damit bekannt sind. Damit kann das von der Bilderzeugungseinrichtung erzeugte virtuelle Bild, das beispielsweise graphische Elemente oder andersartige optische Information beinhaltet, mit Objekten der realen Umgebung, die im Sichtfeld der wahrnehmenden Person sich befinden, deckungsgleich überlagert werden. Durch Vorsehen lediglich des Strahlungsteilers in dem Strahlengang zwischen der Bilderzeugungseinrichtung und der Bildmischungsvorrichtung und mit dem Vorsehen des optischen Sensors kann ein einfacher Systemaufbau realisiert werden.These The nature of the overlay is made possible in particular by that at any time the position of the person or position and sight of the eyes of the person with the help of the beam splitter and of the optical sensor and the connected image evaluation device can be evaluated and thus known. In order to can the virtual image generated by the image generator, for example, graphic elements or other types of optical Information includes, with objects of the real environment in the Field of view of the perceiving person are located, congruent superimposed become. By providing only the radiation splitter in the beam path between the image forming device and the image mixing device and with the provision of the optical sensor, a simple system structure can be realized become.

Insbesondere ist der Strahlenteiler derart ausgebildet und angeordnet, dass Umgebungslicht auf den optischen Sensor geleitet wird, das über denselben Strahlengang in die optische Anordnung eintritt, über welchen die Lichtstrahlen des Bildes der Bilderzeugungseinrichtung die optische Anordnung verlassen. Dies trägt weiterhin zu einem einfachen Systemaufbau bei, da die optischen Komponenten des bereits vorgesehenen Strahlengangs auch zur Berücksichtigung der Umgebungsinformation herangezogen werden können.Especially the beam splitter is designed and arranged such that ambient light the optical sensor is passed over it Beam path enters the optical arrangement, via which the light beams of the image of the image forming device the optical Leave arrangement. This continues to contribute to a simple System structure, since the optical components of the already provided Beam path also to take into account the environmental information can be used.

Gemäß einer vorteilhaften Ausführungsform der Erfindung ist desweiteren eine Lichtquelle, insbesondere eine Infrarotlichtquelle, vorgesehen, die an dem optischen Sensor angeordnet ist oder zwischen dem optischen Sensor und dem Strahlenteiler vorgesehen ist. Desweiteren umfasst die optische Anordnung ein Lichtdurchlassfilter, das selektiv von der Lichtquelle ausgesandtes Licht durchlässt, und der in dem Strahlengang des optischen Sensors angeordnet ist. Auf diese Weise können störende Umgebungslichtverhältnisse effektiv herausgefiltert werden, da durch das Lichtdurchlassfilter lediglich das von der Lichtquelle ausgesandte Licht durchgelassen wird, das von der Umgebung reflektiert wird. Beispielsweise kann mit einer Infrarotlichtquelle eine Augenposition der wahrnehmenden Person detektiert werden, da Infrarotlicht gut von den Augen reflektiert wird. Da dieses Licht außerdem von der Person nicht wahrgenommen werden kann, wird diese durch ausgesandtes Licht der optischen Anordnung nicht beeinträchtigt.According to one advantageous embodiment of the invention is further a light source, in particular an infrared light source, provided, which is arranged on the optical sensor or between the optical Sensor and the beam splitter is provided. Furthermore includes the optical arrangement comprises a light transmission filter selectively selected from the light source emitted light passes, and the is arranged in the beam path of the optical sensor. To this Way can disturbing ambient lighting conditions effectively filtered out through the light transmission filter only the light emitted by the light source is transmitted, which is reflected by the environment. For example, with a Infrared light source an eye position of the perceiving person be detected because infrared light is well reflected by the eyes. In addition, since this light is not perceived by the person can be, this is by emitted light of the optical arrangement not impaired.

Gemäß einer weiteren Ausführungsform der Erfindung ist die Bildauswerteeinrichtung derart ausgebildet und eingerichtet, auf Grundlage der Bildinformationen des optischen Sensors ein Verfahren zur Erkennung von Gesten der wahrnehmenden Person auszuführen. Somit ist es zusätzlich ermöglicht, beispielsweise die Bilderzeugungseinrichtung und/oder ein angeschlossenes Steuergerät, etwa ein Navigationssystem, durch Gestenerkennung zu steuern.According to one Another embodiment of the invention is the image evaluation device formed and arranged based on the image information of the optical sensor, a method for detecting gestures of perform perceptive person. Thus it is additional allows, for example, the image forming device and / or a connected control device, such as a navigation system, to control by gesture recognition.

In einer Ausführungsform der Erfindung leitet der optische Sensor ein digitales Abbild der Umgebung, beispielsweise ein Abbild des Kopfes oder der Augen der wahrnehmenden Person, an die Bildauswerteeinrichtung weiter, wobei dieses Abbild eine zweidimensionale Abbildung wenigstens eines Teil des Kopfes der wahrnehmenden Person beinhaltet. Die Bildauswerteeinrichtung kann dann eine Augenposition, eine Augendrehung, eine Kopfposition und/oder eine Kopfdrehung der wahrnehmenden Person, insbesondere relativ zur Position des virtuellen Bildes, ermitteln. Die Bildauswerteeinrichtung kann einen dieser Parameter oder eine beliebige Kombination aus mehreren dieser Parameter ermitteln. Auf Grundlage dieser Information kann in der Bilderzeugungseinrichtung eine Anpassung der virtuellen Bildtiefe des erzeugten Bildes und/oder eine Anpassung eines Bildinhalts des erzeugten Bildes hinsichtlich Lage und Position erfolgen.In one embodiment of the invention, the optical sensor forwards a digital image of the environment, for example an image of the head or the eyes of the perceptual person, to the image evaluation device, this image forming an image two-dimensional image includes at least a portion of the head of the perceptive person. The image evaluation device can then determine an eye position, an eye rotation, a head position and / or a head rotation of the perceiving person, in particular relative to the position of the virtual image. The image evaluation device can determine one of these parameters or any combination of several of these parameters. On the basis of this information, an adaptation of the virtual image depth of the generated image and / or an adaptation of an image content of the generated image with respect to position and position can take place in the image generation device.

Gemäß einer weiteren Ausführungsform ist die Bildauswerteeinrichtung derart ausgebildet und eingerichtet, dass sie auf Grundlage der Bildinformationen des optischen Sensors Signale, insbesondere optischer, akustischer und/oder visueller Art, infolge bestimmter Ereignisse aussendet. Beispielsweise kann das Aussenden solcher Signale auf Basis der Augenposition, der Augendrehung, der Kopfposition und/oder der Kopfdrehung erfolgen. So können beispielsweise Informationen dem Fahrer des Fahrzeugs zugänglich gemacht werden, die beispielsweise die Peripherie des Fahrzeugs betreffen, wenn der Fahrer seinen Blick entsprechend ausrichtet. Ebenso können derartige Signale auf Basis von Gesten und/oder auf Basis eines Wachzustandes der wahrnehmenden Person erzeugt und übermittelt werden. In diesem Zusammenhang kann von der Bildauswerteeinrichtung beispielsweise ein Verfahren zur Messung einer Lidschlagfrequenz und ein Verfahren zur Messung eines Wachzustandes des Fahrers ausgeführt werden, so dass durch wirksame Signalgebung der Gefahrensituation vorgebeugt werden kann, dass der Fahrer am Steuer einzuschlafen droht.According to one Another embodiment is the image evaluation device designed and set up on the basis of the Image information of the optical sensor Signals, in particular optical, acoustic and / or visual, as a result of certain events sending out. For example, the emission of such signals Base of eye position, eye rotation, head position and / or turn the head. For example, information be made available to the driver of the vehicle who For example, concern the periphery of the vehicle when the driver align his gaze accordingly. Likewise, such Signals based on gestures and / or on the basis of a waking state the perceptual person is generated and transmitted. In In this context, for example, the image evaluation device can a method for measuring a blinking frequency and a method to measure a wakefulness of the driver so that by effectively signaling the dangerous situation can prevent the driver from falling asleep at the wheel threatening.

Die Kalibrierung der optischen Anordnung kann in einfacher Weise dahingehend unterstützt werden, indem in der Bildauswerteeinrichtung eine Kalibrierung einer initialen Augenposition oder Kopfposition des Fahrers auf Basis eines aktuellen Fahrzustandes des Fahrzeugs ausführbar ist. Beispielsweise kann angenommen werden, dass bei relativ hoher Geschwindigkeit des Fahrzeugs der Fahrer den Blick in die Ferne gerichtet hat, was für den Zustand spricht, dass die Augen im Wesentlichen parallel ausgerichtet sind. In der Bildauswerteeinrichtung kann dann eine entsprechende Kalibrierung der initialen Augenposition vorgenommen werden.The Calibration of the optical arrangement can be done in a simple way supported by the image evaluator a calibration of an initial eye position or head position the driver based on a current driving condition of the vehicle is executable. For example, it can be assumed that at relatively high speed of the vehicle, the driver Looking into the distance, which speaks for the state that the eyes are aligned substantially parallel. In the Image evaluation device can then be a corresponding calibration the initial eye position are made.

Im Zusammenhang mit der eingangs erwähnten Problematik der Kalibrierung und/oder einer Rekalibrierung der optischen Anordnung im Falle von Verzerrungen, die sich erst mit der Zeit ergeben bzw. die Folge von äußeren Umständen sind, bietet die vorliegende Erfindung weitere Vorteile. Insbesondere kann mit Hilfe der Bildinformationen des optischen Sensors eine Kalibrierung und/oder eine Rekalibrierung der optischen Anordnung in einfacher und kostengünstiger Weise durchgeführt werden, ohne dass von außen in das System mechanisch eingegriffen werden muss. Beispielsweise ist von der Bildauswerteeinrichtung In formation hinsichtlich eines konkreten Objekts der Umgebung ermittelbar, wobei die Kalibrierung und/oder die Rekalibrierung der optischen Anordnung auf Grundlage der erfassten Ansicht des optischen Sensors auf das Objekt durchführbar ist. Auf Basis der Kenntnis von intrinsischen optischen Parametern der optischen Anordnung kann durch Auswertung der erfassten Objektinformationen die aktuelle Verzerrung im Vergleich zu einer Ausgangs-Verzerrung ermittelt werden. Das von dem optischen Sensor erfasste Objekt bildet somit eine Art Referenz, mit welcher Veränderungen im System der optischen Anordnung detektiert werden können, etwa eine Verschiebung des Head-Up-Displays relativ zur Windschutzscheibe oder temperaturbedingte Verzerrungen in der Windschutzscheibe im Lebenszyklus eines Fahrzeugs. Mit dieser Information kann der Strahlengang zur Bildabbildung so korrigiert werden, dass Bildverzeichnungen infolge sich verändernder Abbildungseigenschaften oder infolge sich verändernder Positionen von optischen Komponenten weitestgehend korrigiert werden können. Solche Veränderungen können beispielsweise auch durch individuelle Abweichungen innerhalb einer Fahrzeugserie oder durch Modellwechsel bedingt sein.in the Connection with the problem mentioned at the beginning Calibration and / or recalibration of the optical assembly in the case of distortions that arise only with time or the Result of external circumstances, offers the present invention further advantages. In particular, can with Help of the image information of the optical sensor a calibration and / or a recalibration of the optical arrangement in a simpler and cost-effective manner, without mechanically intervening in the system from the outside got to. For example, from the image evaluator In formation with respect to a concrete object of the environment determined, wherein the calibration and / or recalibration of the optical assembly based on the detected view of the optical sensor on the Object is feasible. Based on the knowledge of intrinsic optical parameters of the optical arrangement can by evaluation the captured object information compared the current distortion be determined to an output distortion. That of the optical Sensor detected object thus forms a kind of reference, with which Changes in the system of the optical arrangement detected such as a shift in the head-up display relative to the windshield or temperature-related distortions in the windshield in the life cycle of a vehicle. With this Information, the beam path for image mapping corrected so become that picture distortions due to changing Imaging properties or as a result of changing Positions of optical components are largely corrected can. Such changes can, for example also by individual deviations within a vehicle series or due to model changes.

Beispielsweise wird als Referenzobjekt der Umgebung ein Fahrersitz des Fahrzeugs verwendet. Unter Zuhilfenahme von Algorithmen der Bildverarbeitung kann die Position des Fahrersitzes von der Bildauswerteeinrichtung ermittelt werden. Hierzu können insbesondere optische Messverfahren wie markerbasierte, markerlose oder Infrarot-basierte Objekterkennung und Objektverfolgung zum Einsatz kommen. Sie basieren auf dem Verfahren, dass in ihren Abmessungen definierte Referenzgeometrien von einem Kamerasystem erfasst und von einem Augmented Reality System weiterverarbeitet werden. Dieses nähert aus der Orientierung im Raum und anhand der intrinsischen Parameter der optischen Anordnung die Position der Referenzgeometrie in allen sechs Freiheitsgraden (drei translatorische und drei rotatorische Freiheitsgrade) numerisch an. Damit kann die Position der Referenzgeometrie nachverfolgt ("getrackt") werden, was Aufschluss über sich verändernde Verzerrungen im optischen System gibt. Durch selbsttätige Nachjustierung von entsprechenden Komponenten im System, beispielsweise der Bilderzeugungseinrichtung oder der Optik, kann eine Korrektur der Verzerrung erreicht werden.For example becomes a reference object of the environment a driver's seat of the vehicle used. With the aid of image processing algorithms can the position of the driver's seat of the image evaluation device be determined. For this purpose, in particular optical measuring methods such as marker-based, markerless or infrared-based object recognition and object tracking are used. They are based on the procedure that in their dimensions defined reference geometries of a Camera system detected and processed by an augmented reality system become. This approaches from the orientation in space and the position based on the intrinsic parameters of the optical arrangement the reference geometry in all six degrees of freedom (three translational and three rotatory degrees of freedom) numerically. This can be the Position of the reference geometry tracked ("tracked"), which sheds light on changing distortions in the optical system. By automatic readjustment of corresponding components in the system, for example the imaging device or the optics, a correction of the distortion can be achieved.

Beispielsweise wird in einer Ausführungsform der Erfindung an dem Objekt eine Markierung angebracht, beispielsweise eine Markierung an dem Fahrersitz des Fahrzeugs, wobei die optische Anordnung derart eingerichtet ist, dass die Kalibrierung und/oder die Rekalibrierung der optischen Anordnung auf Grundlage der vom optischen Sensor erfassten Markierung durchgeführt wird. Ist die Markierung beispielsweise im Vergleich zur Ausgangsposition verzerrt in der Ansicht des optischen Sensors, so ist eine Korrektur der Verzerrung im optischen System des Head-Up-Displays erforderlich.For example, in one embodiment of the invention, a mark is attached to the object, for example a mark on the driver's seat of the vehicle, wherein the optical Anord is configured such that the calibration and / or the recalibration of the optical arrangement is performed on the basis of the detected by the optical sensor mark. If, for example, the mark is distorted in the view of the optical sensor compared to the starting position, a correction of the distortion in the optical system of the head-up display is required.

Weitere vorteilhafte Aus- und Weiterbildungen der Erfindung sind in den Unteransprüchen angegeben.Further advantageous embodiments and further developments of the invention are in the Subclaims specified.

Die Erfindung wird im Folgenden anhand der in der Zeichnung dargestellten Figur näher erläutert. Die 1 zeigt dabei eine Ausführungsform einer optischen Anordnung insbesondere für ein Head-Up-Display, das in einem Kraftfahrzeug installiert ist. Der Fachmann wird jedoch erkennen, dass auch andere Ausführungsformen der vorliegenden Erfindung im Zusammenhang mit anderen Einsatzzwecken möglich und vorteilhaft sind.The invention will be explained in more detail below with reference to the figure shown in the drawing. The 1 shows an embodiment of an optical arrangement, in particular for a head-up display, which is installed in a motor vehicle. However, those skilled in the art will recognize that other embodiments of the present invention are possible and advantageous in connection with other uses.

1 zeigt eine optische Anordnung 1 mit einem Head-Up-Display 20, das in einem Kraftfahrzeug eingebaut ist. Die Fahrzeugumgebung des Kraftfahrzeugs ist allgemein mit 21 bezeichnet. Die Fahrzeugumgebung 21 weist neben dem Head-Up-Display 20 einen Fahrzeugsitz 15 auf, auf dem eine Person 2 Platz nehmen kann. Die Person 2 ist insbesondere der Fahrer des Fahrzeugs, der sich vor einer Windschutzscheibe 3 des Fahrzeugs befindet. 1 shows an optical arrangement 1 with a head-up display 20 , which is installed in a motor vehicle. The vehicle environment of the motor vehicle is generally with 21 designated. The vehicle environment 21 indicates next to the head-up display 20 a vehicle seat 15 on, on which a person 2 Can take a seat. The person 2 In particular, the driver of the vehicle is in front of a windshield 3 of the vehicle.

Die optische Anordnung des Head-Up-Displays 20 weist eine Bilderzeugungseinrichtung 4 auf zur Erzeugung eines Bildes beispielsweise mit graphischen Informationen oder mit Textinformationen, welche in das Sichtfeld des Fahrers 2 eingeblendet werden sollen. In diesem Zusammenhang dient die Windschutzscheibe 3 als Bildmischungsvorrichtung (sogenannter Combiner), welche einerseits lichtdurchlässig ist, so dass die reale Umgebung hinter der Windschutzscheibe wahrnehmbar ist, die auf der anderen Seite jedoch reflektierende Eigenschaften aufweist, um die virtuellen Informationen der Bilderzeugungseinrichtung 4 dem Fahrer darstellen zu können. Ein Combiner kann auch durch eine im Prinzip beliebige lichtdurchlässige Scheibe anderer Art gebildet werden.The optical arrangement of the head-up display 20 has an image forming device 4 to generate an image, for example, with graphic information or with textual information that is in the field of view of the driver 2 to be displayed. In this context, the windshield serves 3 as image mixing device (so-called combiner), which on the one hand is translucent, so that the real environment behind the windshield is perceptible, but on the other side has reflective properties to the virtual information of the image forming device 4 to represent the driver. A combiner can also be formed by a basically transparent translucent disc of a different kind.

Die von der Bilderzeugungseinrichtung 4 ausgesandten Lichtstrahlen (beispielhaft dargestellt anhand eines einzelnen Lichtstrahls 12) des virtuellen Bildes werden über optische Elemente 5 und 8, allgemein bezeichnet als Optik, auf die Windschutzscheibe 3 gerichtet. Die Optik des Head-Up-Displays 20 umfasst insbesondere ein optisches Element 5 beispielsweise in Form einer Linse und einen Umlenkspiegel B. Die Lichtstrahlen der Bilderzeugungseinrichtung 4 gelangen über den Umlenkspiegel 8 auf die Windschutzscheibe 3, so dass der Kraftfahrer mit seinem Auge 11 das Bild 10 hinter der Windschutzscheibe 3 wahrnehmen kann. Mit anderen Worten visualisiert das Head-Up-Display 20 mittels einem oder mehreren optischen Elementen 5, 8 und mittels der Bilderzeugungseinrichtung 4 unter Verwendung der Windschutzscheibe 3 das virtuelle Bild im Auge des Fahrers. Das erzeugte Bild erscheint, nach dem Gesetz der virtuellen Abbildung, hinter der Windschutzscheibe 3 und wird als wahrgenommenes Displaybild 10 bezeichnet.The image from the imaging device 4 emitted light beams (exemplified by a single light beam 12 ) of the virtual image are about optical elements 5 and 8th , commonly referred to as optics, on the windshield 3 directed. The optics of the head-up display 20 in particular comprises an optical element 5 for example, in the form of a lens and a deflection mirror B. The light beams of the image forming device 4 get over the deflection mirror 8th on the windshield 3 so that the driver with his eye 11 the picture 10 behind the windshield 3 can perceive. In other words, the head-up display visualizes 20 by means of one or more optical elements 5 . 8th and by the image forming device 4 using the windshield 3 the virtual image in the eye of the driver. The generated image appears behind the windshield according to the law of virtual imaging 3 and becomes a perceived display image 10 designated.

Der Umlenkspiegel 8, der beispielsweise asphärisch ausgebildet ist, und die Windschutzscheibe 3 verzerren das Bild der Bilderzeugungseinrichtung 4 derart, dass das Auge 11 das virtuelle Bild 10 verzerrungsfrei wahrnehmen kann. Es ist in diesem Zusammenhang leicht erkennbar, dass sich beispielsweise durch eine Verschiebung der optischen Komponenten relativ zueinander, insbesondere bei einer Verschiebung des Head-Up-Displays relativ zur Windschutzscheibe, eine veränderte Verzerrung des Gesamtsystems ergeben kann, so dass das Bild 10 vom Fahrer 2 nicht mehr verzerrungsfrei wahrgenommen werden kann. In einem solchen Falle ist es also notwendig, dass einzelne oder mehrere der optischen Komponenten kalibriert bzw. rekalibriert werden, um auch nach solchen Ereignissen oder über die gesamte Lebensdauer des Fahrzeugs eine verzerrungsfreie Darstellung des Bildes 10 aus Sicht des Fahrers 2 zu ermöglichen.The deflection mirror 8th , which is designed, for example, aspherical, and the windshield 3 distort the image of the imaging device 4 such that the eye 11 the virtual picture 10 can perceive distortion-free. It is easily recognizable in this connection that, for example, a shift of the optical components relative to one another, in particular with a displacement of the head-up display relative to the windshield, can result in a changed distortion of the overall system, so that the image 10 from the driver 2 no longer distortion free can be perceived. In such a case, it is therefore necessary for one or more of the optical components to be calibrated or recalibrated in order to ensure a distortion-free representation of the image even after such events or over the entire service life of the vehicle 10 from the perspective of the driver 2 to enable.

Erfindungsgemäß wird in den Strahlengang zwischen der Bilderzeugungseinrichtung 4 und der Bildmischungsvorrichtung 3 (Windschutzscheibe) ein Strahlenteiler 6 eingebracht. Der Strahlenteiler 6 ist derart ausgebildet und angeordnet, dass Umgebungslicht, beispielhaft dargestellt anhand des Lichtstrahls 13, auf einen optischen Sensor 7 geleitet wird. Der optische Sensor 7 ist beispielsweise als Kamera ausgebildet. Das Umgebungslicht 13 tritt dabei über denselben Strahlengang in die optische Anordnung des Head-Up-Displays 20 ein, über welchen die Lichtstrahlen 12 des Bildes der Bilderzeugungseinrichtung 4 die optische Anordnung verlassen. Die Umgebung, von der das Umgebungslicht 13 erfasst wird, ist insbesondere die Umgebung, die mit der optischen Anordnung in funktioneller Wirkverbindung bzw. -beziehung steht. Insbesondere soll mit dem Umgebungslicht ein Fahrer, beispielsweise ein Teil des Kopfes des Fahrers, erfasst werden, der die vom Head-Up-Display bereitgestellten Informationen wahrnimmt. Hierbei ist es Ziel, die Informationen des Head-Up-Displays möglichst deckungsgleich mit der von dem Fahrer wahrgenommenen Umgebung vor dem Fahrzeug zu überlagern, so dass beispielsweise Fahrerinformationen wie Navigationspfeile direkt dem Objekt der Fahrumgebung, zum Beispiel der Straße, überlagert werden können. Für diese Art der Überlagerung ist es unter anderem hilfreich, wenn zu jedem Zeitpunkt die Position des Fahrers bzw. die Position und Blickrichtung der Augen des Fahrers bekannt sind. Mithin werden von dem Strahlenteiler 6 und der Kamera 7 Lichtstrahlen von Umgebungslicht empfangen, welches Aufschluss über die Position des Fahrers oder eines Teils des Fahrers als wahrnehmende Person gibt. Eine Bildauswerteeinrichtung 9 mit einer entsprechend programmierten und eingerichteten digitalen Verarbeitungseinrichtung ist mit der Kamera 7 verbunden und dient zur Auswertung der digitalen Bildinformationen der Kamera.According to the invention is in the beam path between the image forming device 4 and the image mixing device 3 (Windshield) a beam splitter 6 brought in. The beam splitter 6 is designed and arranged such that ambient light, exemplified by the light beam 13 , on an optical sensor 7 is directed. The optical sensor 7 is designed as a camera, for example. The ambient light 13 occurs over the same beam path in the optical arrangement of the head-up display 20 a, over which the light rays 12 the image of the image forming device 4 leave the optical arrangement. The environment from which the ambient light 13 In particular, the environment that is in operative association with the optical assembly is detected. In particular, with the ambient light, a driver, for example a part of the head of the driver, is detected, who perceives the information provided by the head-up display. Here, the goal is to superimpose the information of the head-up display as congruent with the perceived by the driver environment in front of the vehicle, so that, for example, driver information such as navigation arrows directly to the object of the driving environment, for example, the road can be superimposed. For this type of Overlay it is helpful, among other things, if at any time the position of the driver or the position and line of sight of the driver's eyes are known. Thus, from the beam splitter 6 and the camera 7 Receive light rays from ambient light, which provides information about the position of the driver or part of the driver as a perceptive person. An image evaluation device 9 with a suitably programmed and set up digital processing device is connected to the camera 7 connected and used to evaluate the digital image information of the camera.

In einer Ausführungsform ist zusätzlich eine Lichtquelle 14 vorgesehen, beispielsweise eine Infrarotlichtquelle, die am Rand der Kamera 7 angebracht ist. Allgemein kann die Lichtquelle 14 an der Kamera 7 oder zwischen der Kamera 7 und dem Strahlenteiler 6 angeordnet sein. Desweiteren ist ein Lichtdurchlassfilter vorgesehen, das beispielsweise in der Kamera 7 angeordnet ist. Das Lichtdurchlassfilter lässt selektiv nur von der Lichtquelle 14 ausgesandtes Licht durch und ist in dem Strahlengang der Kamera angeordnet. Im Falle einer Infrarotlichtquelle lässt das Lichtdurchlassfilter entsprechend nur Infrarotlicht hindurch, das beispielsweise an den Augen 11 relativ stark reflektiert wird. Dadurch lässt sich auf einfache Art und Weise die Augenposition des Fahrers 2 ermitteln.In one embodiment, in addition, a light source 14 provided, for example, an infrared light source, which is at the edge of the camera 7 is appropriate. Generally, the light source 14 at the camera 7 or between the camera 7 and the beam splitter 6 be arranged. Furthermore, a light transmission filter is provided, for example in the camera 7 is arranged. The light transmission filter selectively leaves only from the light source 14 emitted light through and is arranged in the beam path of the camera. In the case of an infrared light source, the light transmission filter accordingly transmits only infrared light, for example, to the eyes 11 is relatively strongly reflected. This allows a simple way the eye position of the driver 2 determine.

Allgemein leitet die Kamera 7 ein digitales Abbild der Umgebung an die Bildauswerteeinrichtung 9 weiter, wobei dieses Abbild eine zweidimensionale Abbildung wenigstens eines Teils des Kopfes des Fahrers 2 beinhaltet. Die Bildauswerteeinrichtung 9 ermittelt – unter Zuhilfenahme von bekannten Algorithmen der Bildverarbeitung – beispielsweise die Augenposition des Fahrers relativ zur scheinbaren-virtuellen Position des vom Fahrer wahrgenommenen Displaybildes 10. Über die bekannte Position der optischen Elemente des Head-Up-Displays 20 sowie aufgrund der Position der Windschutzscheibe 3 und der optischen Abbildungsgleichungen der entsprechenden Elemente 4, 5, 6, 7, 8 und 3 kann so die Position des Auges 11 des Fahrers 2 relativ zum wahrgenommenen Displaybild 10 bestimmt werden. Ist diese Position bekannt, so kann der vom Display erzeugte Bildinhalt mit Objekten der realen Umgebung deckungsgleich überlagert werden. Eine einfache Bestimmung der Augenposition kann beispielsweise über die sogenannte Grauwertanalyse erfolgen.General directs the camera 7 a digital image of the environment to the image evaluation device 9 Further, this image is a two-dimensional image of at least a portion of the head of the driver 2 includes. The image evaluation device 9 determined - with the aid of known algorithms of image processing - for example, the eye position of the driver relative to the apparent-virtual position of the driver perceived display image 10 , About the known position of the optical elements of the head-up display 20 as well as due to the position of the windshield 3 and the optical mapping equations of the corresponding elements 4 . 5 . 6 . 7 . 8th and 3 So can the position of the eye 11 the driver 2 relative to the perceived display image 10 be determined. If this position is known, the image content generated by the display can be overlapped with objects of the real environment congruent. A simple determination of the eye position can be done for example via the so-called gray value analysis.

Insgesamt zeichnet sich das erfindungsgemäße System durch einen einfachen optischen Systemaufbau aus, wie oben beschrieben. Es ist keine Kalibrierung der Sensoren zur Bestimmung der Augenposition relativ zum Head-Up-Display erforderlich. Weiterhin können vergleichsweise kostengünstige Systemkomponenten verwendet werden.All in all the system according to the invention is characterized a simple optical system structure, as described above. It is not a calibration of the sensors for determining the eye position required relative to the head-up display. Furthermore you can used comparatively inexpensive system components become.

Alternativ oder zusätzlich zur Augenposition kann durch die Bildauswerteeinrichtung 9 auch eine Augendrehung, eine Kopfposition und/oder eine Kopfdrehung des Fahrers 2 relativ zur Position des virtuellen Bildes ermittelt werden. Das virtuelle Bild wird dabei teilweise von der Windschutzscheibe 3 rückreflektiert und tritt über den Strahlenteiler 6 auch in den Strahlengang der Kamera 7 ein, so dass ein unmittelbarer Vergleich in der Bildauswerteeinrichtung ermöglicht ist.Alternatively or in addition to the eye position can by the image evaluation 9 also an eye rotation, a head position and / or a head rotation of the driver 2 relative to the position of the virtual image. The virtual image is partially from the windshield 3 reflects back and passes over the beam splitter 6 also in the beam path of the camera 7 a, so that a direct comparison in the image evaluation is possible.

Sind die Bildauswerteeinrichtung 9 und die Bilderzeugungseinrichtung 4 miteinander verbunden, können sie derart zusammenwirken, dass in der Bilderzeugungseinrichtung 4 eine Anpassung der virtuellen Bildtiefe des erzeugten Bildes auf Basis der Augenposition und/oder der anderen Parameter, wie oben beschrieben, durchführbar ist. Ebenso können die Bildauswerteeinrichtung 9 und die Bilderzeugungseinrichtung 4 derart zusammenwirken, dass in der Bilderzeugungseinrichtung 4 eine Anpassung eines Bildinhaltes des erzeugten Bildes hin sichtlich Lage und Orientierung auf Basis der Augenposition und/oder der anderen Parameter durchführbar ist.Are the image evaluation device 9 and the image forming device 4 interconnected, they can cooperate such that in the image forming device 4 an adaptation of the virtual image depth of the generated image on the basis of the eye position and / or the other parameters, as described above, is feasible. Likewise, the image evaluation device 9 and the image forming device 4 cooperate in such a way that in the image forming device 4 an adaptation of an image content of the generated image towards visibly position and orientation based on the eye position and / or the other parameters is feasible.

In der Bildauswerteeinrichtung 9 kann eine Kalibrierung einer initialen Augenposition des Fahrers 2 auf Basis eines aktuellen Fahrzustandes des Fahrzeugs durchgeführt werden, beispielsweise auf Basis der Geschwindigkeit des Fahrzeugs. Dadurch wird die Verarbeitung bei der Kalibrierung erleichtert, insbesondere wird die Verarbeitungsgeschwindigkeit erhöht, damit Echtzeit-Verarbeitung verbessert werden kann.In the image evaluation device 9 can be a calibration of an initial eye position of the driver 2 be performed on the basis of a current driving condition of the vehicle, for example, based on the speed of the vehicle. This facilitates calibration processing, and in particular increases processing speed to improve real-time processing.

Ein besonderer Vorzug des erfindungsgemäßen Systems ist auch darin zu sehen, dass eine Kalibrierung und/oder eine Rekalibrierung der optischen Anordnung 1 auf Grundlage der Bildinformationen der Kamera 7 durchführbar ist. Insbesondere kann eine Kalibrierung des Head-Up-Displays aus der verzerrten Ansicht der Kamera auf die reale Umgebung, beispielsweise auf den Fahrersitz, erfolgen. Beispielsweise kann die verzerrte Ansicht der Kamera mit einem Testbild und einem Testmuster verglichen werden. Die Ausgangs-Verzerrung des Systems ist auf Grundlage von intrinsischen optischen Parametern der optischen Anordnung bekannt. Weicht das von der Kamera aufgenommene Bild von dem Referenzmuster ab, so kann eine Kalibrierung bzw. Einstellung über entsprechende Einstellungen beispielsweise der Komponenten Bilderzeugungseinrichtung 4 und/oder Optik 5, 8 erfolgen. In einer anderen Ausführungsform kann auch eine Markierung 16 an dem Fahrersitz 15 angebracht werden, wobei die Kalibrierung bzw. die Rekalibrierung auf Grundlage der von der Kamera 7 erfassten Markierung 16 durchgeführt wird.A particular advantage of the system according to the invention can also be seen in the fact that a calibration and / or a recalibration of the optical arrangement 1 based on the image information of the camera 7 is feasible. In particular, a calibration of the head-up display from the distorted view of the camera on the real environment, for example, on the driver's seat, take place. For example, the distorted view of the camera may be compared to a test image and a test pattern. The output distortion of the system is known based on intrinsic optical parameters of the optical arrangement. If the image taken by the camera deviates from the reference pattern, then a calibration or setting can be made via corresponding settings of, for example, the components of the image generation device 4 and / or optics 5 . 8th respectively. In another embodiment, also a mark 16 at the driver's seat 15 the calibration or recalibration is based on that of the camera 7 recorded mark 16 is carried out.

Die Vorteile dieser Ausführungsform sind vor allem darin zu sehen, dass eine Kalibrierung bzw. Rekalibrierung des Head-Up-Displays im laufenden Betrieb des Fahrzeugs ("on the fly") durchgeführt werden kann, ohne dass von außen mechanisch in das System eingegriffen werden muss, um Abweichungen zu erkennen und Komponenten zueinander auszurichten. Außerdem kann im Prinzip beliebig oft eine Rekalibrierung durchgeführt werden, so dass Veränderungen im optischen System über die Lebensdauer des Fahrzeugs hinweg laufend Rechnung getragen werden kann. Da das System grundsätzlich selbstjustierend eingerich tet werden kann, ist es hierzu nicht erforderlich, das Fahrzeug beispielsweise in eine Werkstatt zu bringen.The advantages of this embodiment are present All in all to see that a calibration or recalibration of the head-up display during operation of the vehicle ("on the fly") can be performed without the need to mechanically intervene in the system from the outside to detect deviations and Align components to each other. In addition, a recalibration can in principle be performed as often as desired so that changes in the optical system can be continuously taken into account over the lifetime of the vehicle. Since the system can basically be switched off in a self-adjusting manner, it is not necessary to bring the vehicle to a workshop, for example.

Im Betrieb des Fahrzeugs kann die erfindungsgemäße optische Anordnung außerdem als Informations- oder Steuerungsquelle für eine Reihe von weiteren Anwendungen verwendet werden. Dazu zählen beispielsweise Verfahren zur Gestenerkennung, um beispielsweise Gesten des Fahrers erkennen zu können, um eine entsprechende Einrichtung zu steuern. Auch können Verfahren zur Überprüfung des Wachzustandes des Fahrers und/oder zur Messung der Lidschlagfrequenz des Fahrers in der Bildauswerteeinrichtung 9 implementiert sein. In Verbindung mit der optischen Anordnung der vorliegenden Erfindung hat dies den Vorteil, dass für all diese Verfahren keine zusätzlichen optischen Komponenten benötigt werden, sondern optische Komponenten verwendet werden, die bereits im Head-Up-Display integriert sind.During operation of the vehicle, the optical arrangement according to the invention can also be used as an information or control source for a number of other applications. These include, for example, methods for gesture recognition, for example, in order to recognize gestures of the driver in order to control a corresponding device. Also, methods for checking the waking state of the driver and / or for measuring the eye blinking frequency of the driver in the image evaluation device 9 be implemented. In connection with the optical arrangement of the present invention, this has the advantage that for all these methods, no additional optical components are needed, but optical components are used, which are already integrated in the head-up display.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • - DE 10325895 [0002] - DE 10325895 [0002]

Claims (16)

Optische Anordnung (1), insbesondere für ein Head-Up-Display (20), – mit einer Bilderzeugungseinrichtung (4) zur Erzeugung eines Bildes und mit wenigstens einer Bildmischungsvorrichtung (3), – bei der von der Bilderzeugungseinrichtung (4) ausgesandte Lichtstrahlen (12) des Bildes über eine Optik (5, 8) auf die Bildmischungsvorrichtung (3) gerichtet werden, so dass über die Bildmischungsvorrichtung ein virtuelles Bild (10) vermischt mit Seheindrücken der realen Umgebung von einer Person (2) wahrnehmbar ist, – mit einem Strahlenteiler (6) in dem Strahlengang zwischen der Bilderzeugungseinrichtung (4) und der Bildmischungsvorrichtung (3) und mit einem optischen Sensor (7), wobei über den Strahlenteiler Lichtstrahlen (13) von Umgebungslicht einer Umgebung (2, 11) der optischen Anordnung auf den optischen Sensor geleitet werden, – mit einer Bildauswerteeinrichtung (9), die mit dem optischen Sensor (7) verbunden ist, zur Auswertung von digitalen Bildinformationen des optischen Sensors.Optical arrangement ( 1 ), in particular for a head-up display ( 20 ), - with an imaging device ( 4 ) for generating an image and with at least one image mixing device ( 3 ), - by the imaging device ( 4 ) emitted light beams ( 12 ) of the image via an optical system ( 5 . 8th ) to the image mixing device ( 3 ), so that via the image mixing device a virtual image ( 10 ) mixed with visual impressions of the real environment of a person ( 2 ) is perceptible, - with a beam splitter ( 6 ) in the beam path between the imaging device ( 4 ) and the image mixing device ( 3 ) and with an optical sensor ( 7 ), wherein over the beam splitter light beams ( 13 ) of ambient light of an environment ( 2 . 11 ) of the optical arrangement are directed onto the optical sensor, - with an image evaluation device ( 9 ) connected to the optical sensor ( 7 ), for evaluating digital image information of the optical sensor. Optische Anordnung nach Anspruch 1, bei der der Strahlenteiler (6) derart ausgebildet und angeordnet ist, dass Umgebungslicht (13) auf den optischen Sensor (7) geleitet wird, das über den selben Strahlengang in die optische Anordnung (1) eintritt, über welchen die Lichtstrahlen (12) des Bildes der Bilderzeugungseinrichtung (4) die optische Anordnung verlassen.Optical arrangement according to Claim 1, in which the beam splitter ( 6 ) is designed and arranged such that ambient light ( 13 ) on the optical sensor ( 7 ) is guided, which via the same beam path in the optical arrangement ( 1 ), over which the light rays ( 12 ) of the image of the image forming device ( 4 ) leave the optical arrangement. Optische Anordnung nach Anspruch 1 oder 2, weiterhin umfassend: – eine Lichtquelle (14), insbesondere eine Infrarotlichtquelle, die an dem optischen Sensor (7) oder zwischen dem optischen Sensor (7) und dem Strahlenteiler (6) angeordnet ist, – ein Lichtdurchlassfilter (7), das selektiv von der Lichtquelle ausgesandtes Licht durchläßt, und der in dem Strahlengang des optischen Sensors angeordnet ist.An optical arrangement according to claim 1 or 2, further comprising: - a light source ( 14 ), in particular an infrared light source attached to the optical sensor ( 7 ) or between the optical sensor ( 7 ) and the beam splitter ( 6 ), - a light transmission filter ( 7 ) which selectively transmits light emitted by the light source and which is disposed in the optical path of the optical sensor. Optische Anordnung nach einem der Ansprüche 1 bis 3, bei der die Bildauswerteeinrichtung (9) derart ausgebildet und eingerichtet ist, auf Grundlage der Bildinformationen des optischen Sensors (7) ein Verfahren zur Erkennung von Gesten der wahrnehmenden Person (2) auszuführen.Optical arrangement according to one of Claims 1 to 3, in which the image evaluation device ( 9 ) is designed and arranged on the basis of the image information of the optical sensor ( 7 ) a method for recognizing gestures of the perceiving person ( 2 ). Optische Anordnung nach einem der Ansprüche 1 bis 4, bei der der optische Sensor (7) ein digitales Abbild der Umgebung (2, 11) an die Bildauswerteeinrichtung (9) weiterleitet, wobei dieses Abbild eine zweidimensionale Abbildung wenigstens eines Teils des Kopfes der wahrnehmenden Person (2) beinhaltet.Optical arrangement according to one of Claims 1 to 4, in which the optical sensor ( 7 ) a digital image of the environment ( 2 . 11 ) to the image evaluation device ( 9 ), this image forming a two-dimensional image of at least part of the head of the perceiving person ( 2 ) includes. Optische Anordnung nach Anspruch 5, bei der die Bildauswerteeinrichtung (9) mindestens eines der folgenden ermittelt: eine Augenposition, eine Augendrehung, eine Kopfposition und/oder eine Kopfdrehung der wahrnehmenden Person (2).Optical arrangement according to Claim 5, in which the image evaluation device ( 9 ) determines at least one of the following: an eye position, an eye rotation, a head position and / or a head rotation of the perceiving person ( 2 ). Optische Anordnung nach Anspruch 6, bei der die Bildauswerteeinrichtung (9) und die Bilderzeugungseinrichtung (4) verbunden sind und derart zusammenwirken, dass in der Bilderzeugungseinrichtung (4) eine Anpassung der virtuellen Bildtiefe des erzeugten Bildes auf Basis der Augenposition, der Augendrehung, der Kopfposition und/oder der Kopfdrehung durchführbar ist.Optical arrangement according to Claim 6, in which the image evaluation device ( 9 ) and the imaging device ( 4 ) and cooperate in such a way that in the image generating device ( 4 ) an adjustment of the virtual image depth of the generated image on the basis of the eye position, the eye rotation, the head position and / or the head rotation is feasible. Optische Anordnung nach Anspruch 6 oder 7, bei der die Bildauswerteeinrichtung (9) und die Bilderzeugungseinrichtung (4) verbunden sind und derart zusammenwirken, dass in der Bilderzeugungseinrichtung (4) eine Anpassung eines Bildinhaltes des erzeugten Bildes hinsichtlich Lage und Orientierung auf Basis der Augenposition, der Augendrehung, der Kopfposition und/oder der Kopfdrehung durchführbar ist.Optical arrangement according to Claim 6 or 7, in which the image evaluation device ( 9 ) and the imaging device ( 4 ) and cooperate in such a way that in the image generating device ( 4 ) an adaptation of an image content of the generated image with respect to position and orientation on the basis of the eye position, the eye rotation, the head position and / or the head rotation is feasible. Optische Anordnung nach einem der Ansprüche 6 bis 8, bei der die Bildauswerteeinrichtung (9) derart ausgebildet und eingerichtet ist, auf Grundlage der Bildinformationen des optischen Sensors (7) Signale, insbesondere haptischer, akustischer und/oder visueller Art, auf Basis der Augenposition, der Augendrehung, der Kopfposition und/oder der Kopfdrehung, und/oder auf Basis von Gesten und/oder eines Wachzustand der wahrnehmenden Person (2) zu übermitteln.Optical arrangement according to one of Claims 6 to 8, in which the image evaluation device ( 9 ) is designed and arranged on the basis of the image information of the optical sensor ( 7 ) Signals, in particular a haptic, acoustic and / or visual type, based on the eye position, the eye rotation, the head position and / or the head rotation, and / or on the basis of gestures and / or a waking state of the perceiving person ( 2 ). Optische Anordnung nach einem der Ansprüche 6 bis 9, wobei die optische Anordnung (1) in einem Fahrzeug (21) angeordnet ist und in der Bildauswerteeinrichtung (9) eine Kalibrierung einer initialen Augenposition auf Basis eines aktuellen Fahrzustandes des Fahrzeugs ausführbar ist.Optical arrangement according to one of claims 6 to 9, wherein the optical arrangement ( 1 ) in a vehicle ( 21 ) and in the image evaluation device ( 9 ) a calibration of an initial eye position based on a current driving condition of the vehicle is executable. Optische Anordnung nach einem der Ansprüche 1 bis 10, bei der die Bildauswerteeinrichtung (9) derart ausgebildet und eingerichtet ist, auf Grundlage der Bildinformationen des optischen Sensors (7) ein Verfahren zur Messung einer Lidschlagfrequenz und Messung eines Wachzustandes der wahrnehmenden Person (2) auszuführen.Optical arrangement according to one of Claims 1 to 10, in which the image evaluation device ( 9 ) is designed and arranged on the basis of the image information of the optical sensor ( 7 ) a method for measuring a blinking frequency and measuring a waking state of the perceiving person ( 2 ). Optische Anordnung nach einem der Ansprüche 1 bis 11, die derart eingerichtet ist, dass eine Kalibrierung und/oder eine Rekalibrierung der optischen Anordnung (1) auf Grundlage der Bildinformationen des optischen Sensors (7) durchführbar ist.Optical arrangement according to one of claims 1 to 11, which is arranged such that a calibration and / or recalibration of the optical arrangement ( 1 ) based on the image information of the optical sensor ( 7 ) is feasible. Optische Anordnung nach Anspruch 12, bei der von der Bildauswerteeinrichtung (9) Information hinsichtlich eines konkreten Objekts (15) der Umgebung ermittelbar ist, wobei die Kalibrierung und/oder die Rekalibrierung der optischen Anordnung (1) auf Grundlage der erfassten Ansicht des optischen Sensors (7) auf das Objekt (15) durchführbar ist.Optical arrangement according to Claim 12, in which the image evaluation device ( 9 ) Information regarding a specific object ( 15 ) of the Umge be determined, wherein the calibration and / or the recalibration of the optical arrangement ( 1 ) based on the detected view of the optical sensor ( 7 ) on the object ( 15 ) is feasible. Optische Anordnung nach Anspruch 13, bei der die optische Anordnung (1) in einem Fahrzeug (21) angeordnet ist und das Objekt (15) der Umgebung ein Fahrersitz des Fahrzeugs ist.Optical arrangement according to Claim 13, in which the optical arrangement ( 1 ) in a vehicle ( 21 ) and the object ( 15 ) the environment is a driver's seat of the vehicle. Optische Anordnung nach Anspruch 13 oder 14, bei der eine Markierung (16) an dem Objekt (15) anbringbar ist und die optische Anordnung (1) derart eingerichtet ist, dass die Kalibrierung und/oder die Rekalibrierung der optischen Anordnung auf Grundlage der vom optischen Sensor (7) erfassten Markierung (16) durchführbar ist.Optical arrangement according to Claim 13 or 14, in which a marker ( 16 ) on the object ( 15 ) is attachable and the optical arrangement ( 1 ) is arranged such that the calibration and / or the recalibration of the optical arrangement on the basis of the optical sensor ( 7 ) ( 16 ) is feasible. Optische Anordnung nach einem der Ansprüche 1 bis 15, bei der die optische Anordnung (1) in einem Fahrzeug (21) angeordnet ist und die Bildmischungsvorrichtung eine Windschutzscheibe (3) des Fahrzeugs ist.Optical arrangement according to one of Claims 1 to 15, in which the optical arrangement ( 1 ) in a vehicle ( 21 ) and the image mixing device is a windshield ( 3 ) of the vehicle.
DE200710001266 2007-01-08 2007-01-08 Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device Withdrawn DE102007001266A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE200710001266 DE102007001266A1 (en) 2007-01-08 2007-01-08 Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE200710001266 DE102007001266A1 (en) 2007-01-08 2007-01-08 Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device

Publications (1)

Publication Number Publication Date
DE102007001266A1 true DE102007001266A1 (en) 2008-07-10

Family

ID=39477702

Family Applications (1)

Application Number Title Priority Date Filing Date
DE200710001266 Withdrawn DE102007001266A1 (en) 2007-01-08 2007-01-08 Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device

Country Status (1)

Country Link
DE (1) DE102007001266A1 (en)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008049407A1 (en) * 2008-09-29 2010-04-01 Carl Zeiss Ag Display device and display method
WO2010051979A1 (en) * 2008-11-05 2010-05-14 Johnson Controls Gmbh Vehicle display system or projection display for a motor vehicle, and calibration method
WO2010061272A1 (en) * 2008-11-25 2010-06-03 Toyota Jidosha Kabushiki Kaisha Vehicle display device and display method
DE102009054194A1 (en) * 2009-11-24 2011-05-26 Conti Temic Microelectronic Gmbh Use of the optical elements of a head-up display for camera-based rain and dirt sensors, driver identification, fatigue detection
DE102010040803A1 (en) 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
WO2012152475A1 (en) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Method and device for calibrating a projection device of a vehicle
US8467598B2 (en) 2009-08-27 2013-06-18 Rafael Advanced Defense Systems Ltd Unconstrained spatially aligned head-up display
DE102012205217A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information indication system e.g. head-up display mounted in vehicle e.g. motor car, has photo mixture detector (PMD) light source that is arranged for PMD camera such that light of PMD light source is directed over optical unit
DE102012205212A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information display system for use as head-up-display in vehicle, has photo-mixing detector camera for monitoring input region and evaluation unit which is so configured that gesture is detected only as input in virtual input region
EP2671745A1 (en) * 2012-06-01 2013-12-11 Audi Ag Method and device for aligning a head up display projector
DE102012211729A1 (en) * 2012-07-05 2014-01-09 Bayerische Motoren Werke Aktiengesellschaft Camera system for detecting the position of a driver of a motor vehicle
DE102012014447A1 (en) * 2012-07-21 2014-01-23 Daimler Ag projection arrangement
DE102012219316A1 (en) * 2012-10-23 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Method for providing of pixel values for optical display device of head-up display of vehicle, involves partially projecting image on display field of head-up display, where image is generated by optical display device
DE102013203925A1 (en) * 2013-03-07 2014-09-11 Ifm Electronic Gmbh Control system for vehicle headlights
DE102013206614A1 (en) * 2013-04-12 2014-10-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projection display for reflecting an image to be displayed in a view of an occupant of a means of transport
WO2015141745A1 (en) * 2014-03-19 2015-09-24 矢崎総業株式会社 Display apparatus for vehicle
DE102014116292A1 (en) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle
DE102015103276A1 (en) * 2014-12-15 2016-06-16 Lenovo (Beijing) Co., Ltd. Electronic device, display device and display control method
DE102016120995A1 (en) * 2016-11-03 2018-05-03 Visteon Global Technologies, Inc. User interface and method for inputting and outputting information in a vehicle
DE102017100676A1 (en) * 2017-01-16 2018-07-19 Valeo Schalter Und Sensoren Gmbh Calibration of a head-up display of a motor vehicle
US10177547B2 (en) 2015-03-12 2019-01-08 Schleuniger Holding Ag Cable processing machine with improved precision mechanism for cable processing
WO2019110647A1 (en) * 2017-12-07 2019-06-13 Seereal Technologies S.A. Head-up display
US10481594B2 (en) 2015-03-12 2019-11-19 Schleuniger Holding Ag Cable processing machine monitoring with improved precision mechanism for cable processing
US11440410B2 (en) 2019-08-26 2022-09-13 Audi Ag Head-up display for a vehicle
DE102011121715B4 (en) 2010-12-29 2023-08-03 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for dynamically aligning a graphic on a driving scene of a vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734357A (en) * 1994-12-02 1998-03-31 Fujitsu Limited Vehicular display device adjusting to driver's positions
DE10046019A1 (en) * 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Distortion-free representation of image elements on a curved surface, esp. a vehicle wind-screen, requires correction step for pre-correcting the image elements before display
EP1333410A2 (en) * 2002-01-30 2003-08-06 Delphi Technologies, Inc. Eye traking / hud system
DE10325895A1 (en) 2003-06-06 2005-01-05 Siemens Ag Tool or production machine with head-up display
DE102004012475A1 (en) * 2004-03-15 2005-10-06 Carl Zeiss Jena Gmbh Indicator device e.g. head-up-display indicator device, for vehicle, has virtual image generating optics and IR light source used with camera to monitor driver activity
DE102004031311A1 (en) * 2004-06-29 2006-01-19 Robert Bosch Gmbh Information representing device for e.g. aircraft, has optical system representing pupil of user of image sensor, and common optical system over which image is projected on projection surface and pupil of user is imageable

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734357A (en) * 1994-12-02 1998-03-31 Fujitsu Limited Vehicular display device adjusting to driver's positions
DE10046019A1 (en) * 2000-09-18 2002-03-28 Esg Elektroniksystem Und Logis Distortion-free representation of image elements on a curved surface, esp. a vehicle wind-screen, requires correction step for pre-correcting the image elements before display
EP1333410A2 (en) * 2002-01-30 2003-08-06 Delphi Technologies, Inc. Eye traking / hud system
DE10325895A1 (en) 2003-06-06 2005-01-05 Siemens Ag Tool or production machine with head-up display
DE102004012475A1 (en) * 2004-03-15 2005-10-06 Carl Zeiss Jena Gmbh Indicator device e.g. head-up-display indicator device, for vehicle, has virtual image generating optics and IR light source used with camera to monitor driver activity
DE102004031311A1 (en) * 2004-06-29 2006-01-19 Robert Bosch Gmbh Information representing device for e.g. aircraft, has optical system representing pupil of user of image sensor, and common optical system over which image is projected on projection surface and pupil of user is imageable

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008049407A1 (en) * 2008-09-29 2010-04-01 Carl Zeiss Ag Display device and display method
WO2010051979A1 (en) * 2008-11-05 2010-05-14 Johnson Controls Gmbh Vehicle display system or projection display for a motor vehicle, and calibration method
US8711485B2 (en) 2008-11-05 2014-04-29 Johnson Controls Technology Company Vehicle display system or projection display for a motor vehicle, and calibration method
JP2012507426A (en) * 2008-11-05 2012-03-29 ジョンソン・コントロールズ・ゲー・エム・ベー・ハー Vehicle display apparatus or automobile projection display and calibration method
JP2014194565A (en) * 2008-11-05 2014-10-09 Johnson Controls Gmbh Vehicle display device or projection display for motor vehicle, and calibration method
DE112009003557B4 (en) * 2008-11-25 2019-11-14 Toyota Jidosha Kabushiki Kaisha Vehicle display device and display method
WO2010061272A1 (en) * 2008-11-25 2010-06-03 Toyota Jidosha Kabushiki Kaisha Vehicle display device and display method
US8653961B2 (en) 2008-11-25 2014-02-18 Toyota Jidosha Kabushiki Kaisha Vehicle display device and display method
US8467598B2 (en) 2009-08-27 2013-06-18 Rafael Advanced Defense Systems Ltd Unconstrained spatially aligned head-up display
DE102009054194A1 (en) * 2009-11-24 2011-05-26 Conti Temic Microelectronic Gmbh Use of the optical elements of a head-up display for camera-based rain and dirt sensors, driver identification, fatigue detection
US20120268582A1 (en) * 2009-11-24 2012-10-25 Rothenhaeusler Konrad Use of the optical elements of a head-up display for the camera-based rain and dirt sensing, driving identification or fatigue detection
JP2013511431A (en) * 2009-11-24 2013-04-04 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング Camera-based rain and dirt sensor device, use of head-up display optics for driver identification and fatigue inspection
DE102010040803A1 (en) 2010-09-15 2012-03-15 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
US8994520B2 (en) 2010-09-15 2015-03-31 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
WO2012034834A1 (en) 2010-09-15 2012-03-22 Continental Teves Ag & Co. Ohg Visual driver information and warning system for a driver of a motor vehicle
DE102011121715B4 (en) 2010-12-29 2023-08-03 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for dynamically aligning a graphic on a driving scene of a vehicle
CN103502876B (en) * 2011-05-12 2016-11-09 罗伯特·博世有限公司 For the method and apparatus correcting the projection arrangement of vehicle
CN103502876A (en) * 2011-05-12 2014-01-08 罗伯特·博世有限公司 Method and device for calibrating a projection device of a vehicle
WO2012152475A1 (en) * 2011-05-12 2012-11-15 Robert Bosch Gmbh Method and device for calibrating a projection device of a vehicle
DE102012205212B4 (en) * 2012-03-30 2015-08-20 Ifm Electronic Gmbh Information display system with a virtual input zone and method for operating an information display system
DE102012205217A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information indication system e.g. head-up display mounted in vehicle e.g. motor car, has photo mixture detector (PMD) light source that is arranged for PMD camera such that light of PMD light source is directed over optical unit
DE102012205217B4 (en) * 2012-03-30 2015-08-20 Ifm Electronic Gmbh Information display system with a virtual input zone
DE102012205212A1 (en) 2012-03-30 2013-10-02 Ifm Electronic Gmbh Information display system for use as head-up-display in vehicle, has photo-mixing detector camera for monitoring input region and evaluation unit which is so configured that gesture is detected only as input in virtual input region
EP2671745A1 (en) * 2012-06-01 2013-12-11 Audi Ag Method and device for aligning a head up display projector
WO2014005972A1 (en) * 2012-07-05 2014-01-09 Bayerische Motoren Werke Aktiengesellschaft Camera system for detecting the position of a driver of a motor vehicle
DE102012211729A1 (en) * 2012-07-05 2014-01-09 Bayerische Motoren Werke Aktiengesellschaft Camera system for detecting the position of a driver of a motor vehicle
DE102012014447A1 (en) * 2012-07-21 2014-01-23 Daimler Ag projection arrangement
DE102012219316A1 (en) * 2012-10-23 2014-06-12 Bayerische Motoren Werke Aktiengesellschaft Method for providing of pixel values for optical display device of head-up display of vehicle, involves partially projecting image on display field of head-up display, where image is generated by optical display device
DE102012219316B4 (en) 2012-10-23 2022-08-25 Bayerische Motoren Werke Aktiengesellschaft Method for providing pixel values for an optical display device and head-up display for a vehicle
DE102013203925B4 (en) * 2013-03-07 2015-10-22 Ifm Electronic Gmbh Control system for vehicle headlights
DE102013203925A1 (en) * 2013-03-07 2014-09-11 Ifm Electronic Gmbh Control system for vehicle headlights
DE102013206614A1 (en) * 2013-04-12 2014-10-16 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Projection display for reflecting an image to be displayed in a view of an occupant of a means of transport
JP2015178318A (en) * 2014-03-19 2015-10-08 矢崎総業株式会社 Display device for vehicle
WO2015141745A1 (en) * 2014-03-19 2015-09-24 矢崎総業株式会社 Display apparatus for vehicle
US9939638B2 (en) 2014-03-19 2018-04-10 Yazaki Corporation Vehicle display device
DE102014116292A1 (en) * 2014-11-07 2016-05-12 Visteon Global Technologies, Inc. System for transmitting information in a motor vehicle
US10007365B2 (en) 2014-12-15 2018-06-26 Lenove (Beijing) Co., Ltd. Electronic apparatus, display device and display control method for rotating display content when sharing
DE102015103276A1 (en) * 2014-12-15 2016-06-16 Lenovo (Beijing) Co., Ltd. Electronic device, display device and display control method
DE102015103276B4 (en) 2014-12-15 2021-12-02 Lenovo (Beijing) Co., Ltd. Electronic device, display device and display control method
US10177547B2 (en) 2015-03-12 2019-01-08 Schleuniger Holding Ag Cable processing machine with improved precision mechanism for cable processing
US10481594B2 (en) 2015-03-12 2019-11-19 Schleuniger Holding Ag Cable processing machine monitoring with improved precision mechanism for cable processing
US10581228B2 (en) 2015-03-12 2020-03-03 Schleuniger Holding Ag Cable processing machine with improved precision mechanism for cable processing
DE102016120995A1 (en) * 2016-11-03 2018-05-03 Visteon Global Technologies, Inc. User interface and method for inputting and outputting information in a vehicle
DE102017100676A1 (en) * 2017-01-16 2018-07-19 Valeo Schalter Und Sensoren Gmbh Calibration of a head-up display of a motor vehicle
DE102017100676B4 (en) * 2017-01-16 2020-02-06 Valeo Schalter Und Sensoren Gmbh Calibration of a head-up display of a motor vehicle
JP2021505952A (en) * 2017-12-07 2021-02-18 シーリアル テクノロジーズ ソシエテ アノニムSeereal Technologies S.A. Head-up display
CN111448503A (en) * 2017-12-07 2020-07-24 视瑞尔技术公司 Head-up display
US11327305B2 (en) 2017-12-07 2022-05-10 Seereal Technologies S.A. Head-up display
WO2019110647A1 (en) * 2017-12-07 2019-06-13 Seereal Technologies S.A. Head-up display
JP7344873B2 (en) 2017-12-07 2023-09-14 シーリアル テクノロジーズ ソシエテ アノニム heads up display
TWI827569B (en) * 2017-12-07 2024-01-01 盧森堡商喜瑞爾工業公司 Head-up-display and method thereof
US11440410B2 (en) 2019-08-26 2022-09-13 Audi Ag Head-up display for a vehicle

Similar Documents

Publication Publication Date Title
DE102007001266A1 (en) Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
EP3688511B1 (en) Display device, in particular for a vehicle, and vehicle having a display device of this kind
DE112018001655B4 (en) Display device and moving body with the display device
EP1783531B1 (en) Projection display
EP2616869B1 (en) Head-up display
DE102016111783B4 (en) Display device for superimposing a virtual image in the field of view of a user
WO2012152475A1 (en) Method and device for calibrating a projection device of a vehicle
DE102009024192A1 (en) System for an eye-level projected display
DE102013208971A1 (en) Apparatus and method for projecting image information into a field of view of a vehicle occupant of a vehicle
DE102013212667A1 (en) A method and apparatus for displaying a three-dimensional image using an imager of a visual field display device for a vehicle
DE102014200377A1 (en) A visual field display for a vehicle for displaying image information in two independent images to a viewer
DE102020124756B4 (en) Method and device for calibrating a virtual image
DE102013021150A1 (en) Method for displaying optical information in vehicles
DE102009002979A1 (en) Projection display device for vehicles, comprises sensor units formed to generate projection data from sensor values and location information, where control unit is formed to perform filtering of projection data
DE102010002956A1 (en) Head-up display for vehicles, particularly for use as display area for displaying information by imaging unit of lucent surface in vehicle, has imaging lens that is arranged between imaging unit and display area
WO2014023658A2 (en) Head-up display
DE102014226860A1 (en) Method for operating a head-up display, display device, vehicle
DE102014013221A1 (en) Apparatus and method for calibrating an image display unit of a vehicle
DE102016120999A1 (en) User interface and method for inputting and outputting information in a vehicle
DE102018217673B3 (en) Method and system for setting a virtual image
DE102017102593A1 (en) Method and device for detecting the signaling state of at least one signaling device
DE102016111119A1 (en) Laser projection device and method for generating virtual images
DE102016218006A1 (en) A method of displaying an image object in a vehicle on an in-vehicle and on-vehicle perceived display
DE102021113845A1 (en) Vehicle-side display device
DE102020003921A1 (en) Method for calibrating a head-up display and a vehicle with such a head-up display

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R082 Change of representative

Representative=s name: KLUNKER, SCHMITT-NILSON, HIRSCH, DE

R081 Change of applicant/patentee

Owner name: METAIO GMBH, DE

Free format text: FORMER OWNER: METAIO GMBH, 85748 GARCHING, DE

Effective date: 20140226

Owner name: APPLE INC., CUPERTINO, US

Free format text: FORMER OWNER: METAIO GMBH, 85748 GARCHING, DE

Effective date: 20140226

R082 Change of representative

Representative=s name: SCHMITT-NILSON SCHRAUD WAIBEL WOHLFROM PATENTA, DE

Effective date: 20140226

Representative=s name: KLUNKER, SCHMITT-NILSON, HIRSCH, DE

Effective date: 20140226

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

Effective date: 20140226

R016 Response to examination communication
R082 Change of representative

Representative=s name: SCHMITT-NILSON SCHRAUD WAIBEL WOHLFROM PATENTA, DE

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

R081 Change of applicant/patentee

Owner name: APPLE INC., CUPERTINO, US

Free format text: FORMER OWNER: METAIO GMBH, 80335 MUENCHEN, DE

R082 Change of representative

Representative=s name: BARDEHLE PAGENBERG PARTNERSCHAFT MBB PATENTANW, DE

R002 Refusal decision in examination/registration proceedings
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee