WO2014005972A1 - Camera system for detecting the position of a driver of a motor vehicle - Google Patents

Camera system for detecting the position of a driver of a motor vehicle Download PDF

Info

Publication number
WO2014005972A1
WO2014005972A1 PCT/EP2013/063782 EP2013063782W WO2014005972A1 WO 2014005972 A1 WO2014005972 A1 WO 2014005972A1 EP 2013063782 W EP2013063782 W EP 2013063782W WO 2014005972 A1 WO2014005972 A1 WO 2014005972A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
camera
light source
eyes
processing device
Prior art date
Application number
PCT/EP2013/063782
Other languages
German (de)
French (fr)
Inventor
Martin Enders
Original Assignee
Bayerische Motoren Werke Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke Aktiengesellschaft filed Critical Bayerische Motoren Werke Aktiengesellschaft
Publication of WO2014005972A1 publication Critical patent/WO2014005972A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • B60K2360/00—
    • B60K2360/21—
    • B60K2360/27—
    • B60K2360/333—
    • B60K2360/334—
    • B60K2360/347—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Definitions

  • Camera system for detecting the position of a driver of a motor vehicle
  • the invention relates to a device for detecting the position of a driver of a motor vehicle, in particular the invention relates to a device for detecting the position of the eyes of a driver.
  • a device for detecting the position of a driver of a motor vehicle In today's motor vehicles, it is possible to monitor the interior with camera systems. The recordings of these camera systems are evaluated in order to detect, for example, the position of the driver or gestures carried out by him. To capture the driver, these camera systems are now placed in front of the driver. This has the disadvantage that especially in this area of the vehicle precious space is lost, objects such as steering wheel, hands, etc. can be located in the observation beam path and the camera systems do not fit into the existing aesthetics of the front interior. The optics of these camera systems are also exposed to dirt and scratching. Furthermore, head-up displays for use in motor vehicles are known.
  • a head-up display is a transparent display that displays data and graphics in the driver's normal field of vision.
  • the head-up display comprises an imaging device with a light source, an optical device and a partially transmissive mirror, which may be integrated in a windshield of a vehicle.
  • the imaging device generates an image of the data and graphics to be displayed and has a light source. This image is processed and steered by means of the optical device so that it is projected by the partially transparent mirror in proper alignment in the field of view of the driver.
  • the optical device may comprise lenses or mirrors. For the driver, for example, the picture seems to hover above the bonnet or the road ahead.
  • a head-up display which additionally comprises a camera.
  • the camera is arranged so that light reflected from the driver's eyes and surroundings will strike the camera through the partially transmitting mirror and optical device.
  • the captured image determines the position of the eyes and the head-up display for them Position set.
  • US 5,734,357 recognizes the problem that a recording of the eyes at night due to the insufficient lighting conditions is not possible. For this reason, US 5,734,357 proposes to arrange an infrared light source in the interior of the vehicle. However, this infrared light source disturbs the aesthetic impression in the interior of the vehicle and is exposed to damage and pollution.
  • Task to the expert is to provide a lighting of the driver, which eliminates the above disadvantages.
  • the device for detecting the position of a driver of a motor vehicle or a part of the driver, in particular of the eyes comprises the following:
  • a head-up display comprising an imaging device with a first light source, an optical device and a partially transmissive mirror.
  • the partially transmissive mirror may be included in a windshield of a vehicle or formed by the windshield.
  • the head-up display fulfills the function of projecting data and graphics into the driver's field of vision.
  • the device comprises a camera, which is coupled to a processing device.
  • the camera is a video camera which can provide images in the visible range of light and / or in the infrared range, the latter also being called an infrared camera.
  • the device further includes a second light source outside the imaging device, in particular an infrared light source.
  • the second light source, the partially transmissive mirror, and the camera are arranged so that light emitted from the second light source propagates at least through the partially transmissive mirror to an area accessible to the driver or a user Part of the driver, in particular the eyes, is assigned.
  • a reflection of light takes place in this area (for example, by the driver present there), a part (or, depending on the reflection, the whole light) is reflected from there via the partially transparent mirror back to the camera.
  • the camera can take a picture of the driver or a part of the driver, also on the basis of the light emitted by the second light source.
  • the device contains a processing device, which is operatively coupled to the camera and which is adapted to detect the position of the driver or a part of the driver, in particular the eyes.
  • the coupling provides the processing device with the recording or the recordings of the camera.
  • the detection of the position can be carried out in a known manner by image processing.
  • the arrangement of the second light source so that its light is passed over the partially transparent mirror to the driver, a hidden and protected order of the light source is made possible.
  • the present invention Compared with an arrangement of the camera in the dashboard itself, for example in the field of display instruments, the present invention has the advantage that the viewing direction of the camera is not or significantly less hampered by the driver's hands.
  • the camera uses the beam path of the head-up display, which is not or rarely covered by the driver's hands.
  • the active illumination with the separate light source it is also possible to achieve a recording with sufficient quality and contrast even in unfavorable lighting conditions such as direct sunlight.
  • the signal-to-noise ratio is improved, especially during the day in direct sunlight on the camera, because the useful signal is increased by the reflection.
  • the device is set up to take another picture with the camera, the second light source not being used for further recording is activated, so this does not emit light.
  • the device is further configured to subtract corresponding pixels of the images.
  • the processing device is further configured to detect the position of the driver or a part of the driver on this basis. Using this procedure, the disturbing signal component in the images can be compensated by the ambient light, in particular the direct sunlight.
  • the second light source is arranged so that its light passes through substantially the same path as the image of the head-up display through the optical device. The light source is thus far removed and protected.
  • the second light source emits a short light pulse, in particular in the visible range.
  • the camera is set up to capture the light of this pulse reflected by the driver and to record on that basis. This recording is then processed by the processing device. In this way, the driver is not permanently blinded or at a correspondingly short duration of the pulse.
  • the motor vehicle comprises a central instrument, in particular a speed and speed indicator, which is arranged in the dashboard of the motor vehicle and from the direction of the driver behind the steering wheel.
  • a central instrument in particular a speed and speed indicator
  • the device also includes a controller for adapting the representation of a display, in particular a central instrument.
  • the controller is adapted to adjust the display of the display depending on the detected position, in this case, if necessary, the position of the steering wheel is taken into account. The adjustment can be made by moving the speed or speed displays, for example when displaying the speed or speed using an LCD.
  • the device is further configured to output to a vehicle exterior or interior mirror a control signal indicating how the exterior and / or interior mirror is to be adjusted.
  • a control signal indicating how the exterior and / or interior mirror is to be adjusted.
  • the processing device is further configured to determine the pupil diameter of the driver's eyes. This is particularly advantageous in the dark, since it can be determined by other road users or other lights, the height of dazzling the driver.
  • the device may be configured to detect the frequency of the lid closing or small movements of the eyes and may further be adapted to recognize whether the driver is tired or under the influence of drugs, possibly also taking into account the recognized pupil diameter. Thus, it can be detected whether a driver is unable to drive and, if appropriate, appropriate measures are initiated.
  • the processing device is further configured to detect and output the vertical viewing angle of the driver's eyes, in other words, whether the driver is looking up or down. This can be used to adjust the head-up display accordingly. Furthermore, the processing device can be set up to detect and output the horizontal viewing direction of the driver's eyes and / or eye movement. For this purpose, the processing device can be set up to fix a reference direction for each eye, the reference directions being parallel to one another, detecting the angle of the viewing direction of each eye relative to the respective reference direction and optionally deriving the driver's line of sight.
  • the device can be set up with the aid of the detected angles or viewing directions for each eye, and the eye distance can also be determined from the distance and direction to the object under consideration.
  • Processing means may be further adapted to detect the horizontal head movement.
  • the partially transmissive mirror it is provided in a development to design the partially transmissive mirror so that it can change its partial transmission by driving, for example by electrical control and in particular no longer becomes partially transparent.
  • the device is set up to control the mirror so that it is no longer semitransparent for recording when the recording is made. And thus essentially blocks passing light.
  • the mirror is controlled for the recording in such a way that it no longer lets its light pass through on its side directed away from the driver, but reflects light striking on its other side.
  • the partially transmissive mirror is substantially reflective on both sides for infrared light
  • the second light source is an infrared light source
  • the camera is an infrared camera.
  • more than 50% means more than 60% or more than 80%.
  • infrared light is completely or substantially completely reflected by the side of the mirror facing away from the driver, and infrared light is completely or substantially completely reflected by the driver-facing side.
  • the mirror does not have this property.
  • This variant has the advantage that the infrared image of the camera is not degraded by incident from the environment of the vehicle infrared light. The signal-to-noise ratio is more advantageous in this variant.
  • the arrangement of the light source so that its light is passed through the partially reflecting mirror to the driver, a hidden and protected arrangement of the light source is made possible.
  • the infrared camera is set up to take pictures in the infrared range of the light and to essentially ignore light of other wavelengths.
  • the processing device is adapted to recognize in the recording double images due to the reflection in the semitransparent mirror and to take into account in the determination of the position of the driver or a part of the driver. In this way it is possible to dispense with otherwise commonly used wedge films in the haib thru intermediaren mirror, for example in the windshield. This allows cost and complexity savings.
  • the device is set up to take another picture with the camera, the light source not being activated for the further recording, that is, it does not emit light.
  • the device is further configured to subtract corresponding pixels of the images.
  • the processing device is further configured to detect the position of the driver or a part of the driver on this basis. Using this procedure, the disturbing signal component in the images can be compensated by the ambient light, in particular the direct sunlight.
  • the present device can also be applied to aircraft or ships, which are understood here to include the term vehicle.
  • vehicle which are understood here to include the term vehicle.
  • driver equally covers the pilot of an aircraft or the helmsman of a ship.
  • 1 shows a schematic diagram of a device for detecting the position of the eyes of a driver of a motor vehicle according to a preferred embodiment.
  • FIG. 2 shows a schematic diagram for determining the viewing direction. Description of a preferred embodiment
  • the device comprises an imaging device 1, an optical device 2, a semitransparent mirror 3, which is included in a windshield of a motor vehicle, and an eye 6 of the driver. These elements of the device are arranged under the dashboard 8 of the motor vehicle.
  • the light source 5 is arranged under the dashboard 8, which emits pulse-like infrared radiation.
  • the radiation emitted by the light source 5 passes through the optical device 2, is reflected by the opaque mirror 3 and impinges on the eye 6 of the driver.
  • FIG. 1 shows only an exemplary light beam (dashed lines). In fact, the area illuminated by the infrared light source 5 is larger. From the eye 6, infrared radiation is reflected back onto the partially transmissive mirror 3 and directed by the optical device 2 to the camera 4 (solid line).
  • the camera 4, which is also located in the dashboard 8, receives the reflected radiation and produces a recording. The recording covers a larger area than indicated by the beam in FIG.
  • the interaction between lighting and recording is similar to the principle of photography with lightning. In general, however, a continuous lighting with the light source 5 and a correspondingly continuous recording can be provided.
  • the processing device 7 processes the recording and determines the position of the eyes 6 of the driver.
  • FIG. 2 shows a schematic diagram for determining the viewing direction.
  • An object 10 is passed through the windshield 11 of a vehicle by a driver with an automobile. gene 6 observed.
  • an angle W1 or W2 for each eye is determined for a parallel direction 9 associated with each eye (shown in dashed lines).
  • the driver's line of sight can be determined in addition.
  • the driver's line of sight may be determined by the angle of a connection from a point associated with the driver (for example, the midpoint between the eyes) and the object to a reference direction.
  • the reference direction is parallel to the reference directions of the eyes and starts at the associated point.
  • the head-up display can be adjusted according to the direction of the driver or, for example.

Abstract

The invention relates to a device for detecting the position of the driver of a vehicle or a part of the driver, in particular the eyes (6), comprising the following: a heads-up display comprising an image-generating device (1) with a first light source, comprising an optical device (2), and comprising a partly translucent mirror (3); a camera (4) which is designed to capture an image; a second light source (5) outside of the image-generating device, in particular an infrared light source, wherein the second light source (5), the partly translucent mirror (3), and the camera (4) are arranged such that light emitted from the second light source (5) propagates at least through the partly translucent mirror (3) onto a region corresponding to the driver or to a part of the driver, in particular the eyes (6) of the driver, and from there back to the camera (4) via the partly translucent mirror (3) upon being reflected at said region; and a processing device (7) which is operatively coupled to the camera (4) and which is designed to receive the image captured by the camera (4) and to determine the position of the driver or a part of the driver, in particular the eyes (6).

Description

Kamerasystem zum Erfassen der Position eines Fahrers eines Kraftfahrzeugs  Camera system for detecting the position of a driver of a motor vehicle
Die Erfindung betrifft eine Vorrichtung zum Erfassen der Position eines Fahrers eines Kraftfahrzeugs, insbesondere betrifft die Erfindung eine Vorrichtung zur Erfassung der Position der Augen eines Fahrers. In heutigen Kraftfahrzeugen ist es möglich, den Innenraum mit Kamerasystemen zu überwachen. Die Aufnahmen dieser Kamerasysteme werden ausgewertet, um beispielsweise die Position des Fahrers oder von diesem ausgeführte Gesten zu erkennen. Um den Fahrer erfassen zu können werden diese Kamerasysteme heutzutage vor dem Fahrer angeordnet. Dies birgt den Nachteil, dass gerade in diesem Bereich des Fahrzeugs kostbarer Bauraum verloren geht, sich im Beobachtungsstrahlengang Objekte wie Lenkrad, Hände usw. befinden können und sich die Kamerasysteme nicht in die bestehende Ästhetik des vorderen Innenraums einfügen. Die Optik dieser Kamerasysteme ist darüber hinaus auch Verschmutzungen und Verkratzen ausgesetzt. Weiterhin sind Head-Up-Displays zur Verwendung in Kraftfahrzeugen bekannt. Ein Head-Up-Display ist eine transparente Anzeige, die Daten und Grafiken im üblichen Blickfeld des Fahrers anzeigt. Dazu umfasst das Head-Up-Display eine bildgebende Vorrichtung mit einer Lichtquelle, eine optische Vorrichtung und einen teildurchlässigen Spiegel, der in einer Windschutzscheibe eines Fahrzeugs integriert sein kann. Die bildgebende Vorrichtung erzeugt ein Bild der anzuzeigenden Daten und Grafiken und verfügt über eine Lichtquelle. Dieses Bild wird mithilfe der optischen Vorrichtung derart aufbereitet und gelenkt, dass es durch den teildurchlässigen Spiegel in richtiger Ausrichtung in das Sichtfeld des Fahrers projiziert wird. Die optische Vorrichtung kann Linsen, oder Spiegel umfassen. Das Bild scheint für den Fahrer bei- spielsweise über der Motorhaube oder der vorausliegenden Straße zu schweben. The invention relates to a device for detecting the position of a driver of a motor vehicle, in particular the invention relates to a device for detecting the position of the eyes of a driver. In today's motor vehicles, it is possible to monitor the interior with camera systems. The recordings of these camera systems are evaluated in order to detect, for example, the position of the driver or gestures carried out by him. To capture the driver, these camera systems are now placed in front of the driver. This has the disadvantage that especially in this area of the vehicle precious space is lost, objects such as steering wheel, hands, etc. can be located in the observation beam path and the camera systems do not fit into the existing aesthetics of the front interior. The optics of these camera systems are also exposed to dirt and scratching. Furthermore, head-up displays for use in motor vehicles are known. A head-up display is a transparent display that displays data and graphics in the driver's normal field of vision. For this purpose, the head-up display comprises an imaging device with a light source, an optical device and a partially transmissive mirror, which may be integrated in a windshield of a vehicle. The imaging device generates an image of the data and graphics to be displayed and has a light source. This image is processed and steered by means of the optical device so that it is projected by the partially transparent mirror in proper alignment in the field of view of the driver. The optical device may comprise lenses or mirrors. For the driver, for example, the picture seems to hover above the bonnet or the road ahead.
Aus der Druckschrift US 5,734,357 ist ein Head-Up-Display bekannt, das zusätzlich eine Kamera umfasst. Die Kamera ist so angeordnet, dass Licht, das von den Augen des Fahrers und deren Umfeld reflektiert wird, durch den teildurchlässigen Spiegel und die optische Vorrichtung auf die Kamera trifft. Aus dem aufgenomme- nen Bild wird die Position der Augen bestimmt und das Head-Up-Display für diese Position eingestellt. Die Druckschrift US 5,734,357 erkennt das Problem, dass eine Aufnahme der Augen bei Nacht aufgrund der unzureichenden Lichtverhältnisse nicht möglich ist. Aus diesem Grund schlägt die US 5,734,357 vor, eine Infrarot- Lichtquelle im Innenraum des Fahrzeugs anzuordnen. Diese Infrarot-Lichtquelle stört jedoch den ästhetischen Eindruck im Innenraum des Fahrzeugs und ist Beschädigungen und Verschmutzung ausgesetzt. From the document US 5,734,357 a head-up display is known, which additionally comprises a camera. The camera is arranged so that light reflected from the driver's eyes and surroundings will strike the camera through the partially transmitting mirror and optical device. The captured image determines the position of the eyes and the head-up display for them Position set. The document US 5,734,357 recognizes the problem that a recording of the eyes at night due to the insufficient lighting conditions is not possible. For this reason, US 5,734,357 proposes to arrange an infrared light source in the interior of the vehicle. However, this infrared light source disturbs the aesthetic impression in the interior of the vehicle and is exposed to damage and pollution.
Aufgabe an den Fachmann ist es damit eine Beleuchtung des Fahrers bereitzustellen, die die obigen Nachteile ausräumt. Task to the expert is to provide a lighting of the driver, which eliminates the above disadvantages.
Die Aufgabe wird durch die Vorrichtung zum Erfassen der Position eines Fahrers oder Teile des Fahrers eines Fahrzeugs gemäß Anspruch 1 gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert. The object is achieved by the device for detecting the position of a driver or parts of the driver of a vehicle according to claim 1. Advantageous developments are defined in the dependent claims.
Erfindungsgemäß umfasst die Vorrichtung zum Erfassen der Position eines Fahrers eines Kraftfahrzeugs oder eines Teils des Fahrers, insbesondere der Augen, Folgendes: Ein Head-Up-Display, das eine bildgebende Vorrichtung mit einer ersten Lichtquelle, eine optische Vorrichtung und einen teildurchlässigen Spiegel umfasst. Der teildurchlässige Spiegel kann in einer Windschutzscheibe eines Fahrzeugs umfasst sein oder durch die Windschutzscheibe gebildet werden. Das Head-Up-Display erfüllt die Funktion Daten und Grafiken in das Sichtfeld des Fahrers zu projizieren. According to the invention, the device for detecting the position of a driver of a motor vehicle or a part of the driver, in particular of the eyes, comprises the following: A head-up display comprising an imaging device with a first light source, an optical device and a partially transmissive mirror. The partially transmissive mirror may be included in a windshield of a vehicle or formed by the windshield. The head-up display fulfills the function of projecting data and graphics into the driver's field of vision.
Ferner umfasst die Vorrichtung eine Kamera, die mit einer Verarbeitungsvorrichtung gekoppelt ist. Vorteilhafterweise ist die Kamera eine Videokamera, die Aufnahmen im sichtbaren Bereich des Lichts und/oder im Infrarotbereich bereitstellen kann, wobei letztere auch Infrarot-Kamera genannt wird. Die Vorrichtung beinhaltet weiter eine zweite Lichtquelle außerhalb der bildgebenden Vorrichtung, insbesondere eine Infrarot-Lichtquelle. Die zweite Lichtquelle, der teildurchlässige Spiegel und die Kamera sind so angeordnet, dass sich von der zweiten Lichtquelle emittiertes Licht mindestens durch den teildurchlässigen Spiegel auf einen Bereich ausbreitet, der dem Fahrer oder einen Teil des Fahrers, insbesondere dessen Augen, zugeordnet ist. Wenn in diesem Bereich eine Reflexion von Licht stattfindet (beispielsweise durch den dort vorhandenen Fahrer) wird ein Teil (oder je nach Reflexion das ganze Licht) von dort über den teildurchlässigen Spiegel zurück zur Kamera reflektiert. Auf diese Weise kann die Kamera eine Aufnahme des Fahrers oder eines Teils des Fahrers machen und zwar auch auf der Basis des durch die zweite Lichtquelle emittierten Lichts. Furthermore, the device comprises a camera, which is coupled to a processing device. Advantageously, the camera is a video camera which can provide images in the visible range of light and / or in the infrared range, the latter also being called an infrared camera. The device further includes a second light source outside the imaging device, in particular an infrared light source. The second light source, the partially transmissive mirror, and the camera are arranged so that light emitted from the second light source propagates at least through the partially transmissive mirror to an area accessible to the driver or a user Part of the driver, in particular the eyes, is assigned. If a reflection of light takes place in this area (for example, by the driver present there), a part (or, depending on the reflection, the whole light) is reflected from there via the partially transparent mirror back to the camera. In this way, the camera can take a picture of the driver or a part of the driver, also on the basis of the light emitted by the second light source.
Weiterhin enthält die Vorrichtung eine Verarbeitungseinrichtung, die operativ mit der Kamera gekoppelt ist und die dazu eingerichtet ist, die Position des Fahrers oder eines Teils des Fahrers, insbesondere der Augen, zu erfassen. Über die Kopplung wird der Verarbeitungseinrichtung die Aufnahme oder die Aufnahmen der Kamera zur Verfügung gestellt. Die Erfassung der Position kann auf an sich bekannte Weise durch Bildverarbeitung vorgenommen werden. Furthermore, the device contains a processing device, which is operatively coupled to the camera and which is adapted to detect the position of the driver or a part of the driver, in particular the eyes. The coupling provides the processing device with the recording or the recordings of the camera. The detection of the position can be carried out in a known manner by image processing.
Durch die Anordnung der zweiten Lichtquelle, so dass ihr Licht über den teildurchlässigen Spiegel zum Fahrer geleitet wird, wird eine versteckte und geschützte An- Ordnung der Lichtquelle ermöglicht. The arrangement of the second light source, so that its light is passed over the partially transparent mirror to the driver, a hidden and protected order of the light source is made possible.
Gegenüber einer Anordnung der Kamera im Armaturenbrett selbst, beispielsweise im Bereich der Anzeigeninstrumente, hat die vorliegende Erfindung den Vorteil, dass die Blickrichtung der Kamera nicht oder wesentlich weniger durch Hände des Fahrers behindert wird. Die Kamera nutzt nämlich den Strahlengang des Head-up- Displays, der von den Händen das Fahrers nicht oder nur selten verdeckt wird. Compared with an arrangement of the camera in the dashboard itself, for example in the field of display instruments, the present invention has the advantage that the viewing direction of the camera is not or significantly less hampered by the driver's hands. The camera uses the beam path of the head-up display, which is not or rarely covered by the driver's hands.
Durch die aktive Beleuchtung mit der separaten Lichtquelle wird es weiterhin ermöglicht auch bei ungünstigen Lichtverhältnissen wie direkter Sonneneinstrahlung eine Aufnahme mit ausreichender Qualität und Kontrastverhältnissen zu erreichen. Mit andern Worten: Das Signal-zu-Rausch Verhältnis wird verbessert, insbesondere tagsüber bei direkter Sonneneinstrahlung auf die Kamera, weil durch die Reflexion das Nutzsignal erhöht wird. Due to the active illumination with the separate light source, it is also possible to achieve a recording with sufficient quality and contrast even in unfavorable lighting conditions such as direct sunlight. In other words, the signal-to-noise ratio is improved, especially during the day in direct sunlight on the camera, because the useful signal is increased by the reflection.
In einer Variante ist die Vorrichtung dazu eingerichtet, eine weitere Aufnahme mit der Kamera zu machen, wobei für die weitere Aufnahme die zweite Lichtquelle nicht aktiviert wird, diese also kein Licht emittiert. Die Vorrichtung ist ferner dazu eingerichtet, sich entsprechende Pixel der Aufnahmen zu subtrahieren. Insbesondere ist die Verarbeitungsvorrichtung ferner dazu eingerichtet auf dieser Basis die Position des Fahrers oder eines Teils des Fahrers zu erfassen. Mithilfe dieses Vorgehens kann der störende Signalanteil in den Aufnahmen durch das Umgebungslicht, insbesondere die direkte Sonneneinstrahlung, kompensiert werden. In one variant, the device is set up to take another picture with the camera, the second light source not being used for further recording is activated, so this does not emit light. The device is further configured to subtract corresponding pixels of the images. In particular, the processing device is further configured to detect the position of the driver or a part of the driver on this basis. Using this procedure, the disturbing signal component in the images can be compensated by the ambient light, in particular the direct sunlight.
In manchen Ausführungsbeispielen ist die zweite Lichtquelle so angeordnet, dass ihr Licht den im Wesentlichen selben Pfad durchläuft wie das Bild des Head-Up- Displays durch die optische Vorrichtung. Die Lichtquelle ist damit weit zurückge- nommen und geschützt. In some embodiments, the second light source is arranged so that its light passes through substantially the same path as the image of the head-up display through the optical device. The light source is thus far removed and protected.
In einer vorteilhaften Weiterbildung der Erfindung sendet die zweite Lichtquelle einen kurzen Lichtimpuls, insbesondere im sichtbaren Bereich, aus. Gleichzeitig ist die Kamera dazu eingerichtet, das vom Fahrer reflektierte Licht dieses Impulses einzufangen und auf dieser Basis eine Aufnahme zu erzeugen. Diese Aufnahme wird dann von der Verarbeitungseinrichtung verarbeitet. Auf diese Weise wird der Fahrer nicht dauerhaft bzw. bei entsprechend kurzer Dauer des Impulses gar nicht geblendet. In an advantageous development of the invention, the second light source emits a short light pulse, in particular in the visible range. At the same time, the camera is set up to capture the light of this pulse reflected by the driver and to record on that basis. This recording is then processed by the processing device. In this way, the driver is not permanently blinded or at a correspondingly short duration of the pulse.
In einem bevorzugten Ausführungsbeispiel umfasst das Kraftfahrzeug ein Zentralinstrument, insbesondere eine Drehzahl- und Geschwindigkeitsanzeige, die im Arma- turenbrett des Kraftfahrzeugs und aus Blickrichtung des Fahrers hinter dem Lenkrad angeordnet ist. Bei dieser Anordnung kann es vorkommen, dass durch das Lenkrad oder andere Vorrichtungen dauerhaft Anzeigen für den Fahrer zumindest teilweise verdeckt werden. Um diese Anzeigen für den Fahrer wieder vollständig oder zumindest vollständiger ins Blickfeld zu rücken umfasst die Vorrichtung ebenfalls eine Steuerung zur Anpassung der Darstellung einer Anzeige, insbesondere eines Zentralinstruments. Die Steuerung ist dazu eingerichtet, in Abhängigkeit der erfassten Position die Darstellung der Anzeige anzupassen, hierbei wird gegebenenfalls auch die Position des Lenkrads mit berücksichtigt. Die Anpassung kann durch Verschieben der Drehzahl- oder Geschwindigkeitsanzeigen erfolgen, beispielsweise bei ei- ner Anzeige der Drehzahl oder Geschwindigkeit mithilfe eines LCD. In einer Variante ist die Vorrichtung ferner dazu eingerichtet an einen Außen- oder Innenspiegel eines Fahrzeugs ein Steuersignal auszugeben, das angibt, wie der Außen- und/oder Innenspiegel einzustellen ist. Auf diese Weise kann das Fahrzeug für den jeweiligen Fahrer automatisch konfiguriert werden auf der Basis dessen er- fasster Position, insbesondere der Augen. Dieselbe Einstellung kann auch für einen Sitz vorgenommen werden. In a preferred embodiment, the motor vehicle comprises a central instrument, in particular a speed and speed indicator, which is arranged in the dashboard of the motor vehicle and from the direction of the driver behind the steering wheel. With this arrangement, it may happen that the steering wheel or other devices permanently obscure displays for the driver at least partially. In order to bring these displays back to the driver completely or at least more completely in the field of vision, the device also includes a controller for adapting the representation of a display, in particular a central instrument. The controller is adapted to adjust the display of the display depending on the detected position, in this case, if necessary, the position of the steering wheel is taken into account. The adjustment can be made by moving the speed or speed displays, for example when displaying the speed or speed using an LCD. In a variant, the device is further configured to output to a vehicle exterior or interior mirror a control signal indicating how the exterior and / or interior mirror is to be adjusted. In this way, the vehicle can be automatically configured for the respective driver on the basis of its detected position, in particular the eyes. The same setting can also be made for a seat.
Weiter ist die Verarbeitungseinrichtung in einem bevorzugten Ausführungsbeispiei ferner dazu eingerichtet, den Pupillendurchmesser der Augen des Fahrers zu ermitteln. Dies ist insbesondere bei Dunkelheit vorteilhaft, da dadurch die Höhe einer Blendung des Fahrers durch andere Verkehrsteilnehmer oder sonstige Lichter bestimmt werden kann. Furthermore, in a preferred embodiment, the processing device is further configured to determine the pupil diameter of the driver's eyes. This is particularly advantageous in the dark, since it can be determined by other road users or other lights, the height of dazzling the driver.
Weiterhin kann die Vorrichtung dazu eingerichtet sein, die Frequenz der Lidschließung oder kleine Bewegungen der Augen zu erfassen und kann weiter dazu eingerichtet sein daraus zu erkennen, ob der Fahrer müde ist oder unter Drogeneinfluss steht, gegebenenfalls auch unter Berücksichtigung des erkannten Pupillendurchmessers. Somit kann erkannt werden, ob ein Fahrer fahruntüchtig ist und gegebenenfalls entsprechende Maßnahmen eingeleitet werden. Furthermore, the device may be configured to detect the frequency of the lid closing or small movements of the eyes and may further be adapted to recognize whether the driver is tired or under the influence of drugs, possibly also taking into account the recognized pupil diameter. Thus, it can be detected whether a driver is unable to drive and, if appropriate, appropriate measures are initiated.
In einer vorteilhaften Weiterbildung ist die Verarbeitungseinrichtung ferner dazu eingerichtet, den vertikalen Blickwinkel der Augen des Fahrers zu erfassen und auszu- geben, mit anderen Worten, ob der Fahrer nach oben oder unten schaut. Dies kann dazu verwendet werden, das Head-up Display entsprechend einzustellen. Weiterhin kann die Verarbeitungseinrichtung dazu eingerichtet sein, die horizontale Blickrichtung der Augen und/oder Augenbewegung des Fahrers zu erfassen und auszugeben. Dazu kann die Verarbeitungseinrichtung dazu eingerichtet sein, eine Bezugs- richtung für jedes Auge festzugelegen, wobei die Bezugsrichtungen zueinander parallel sind, den Winkel der Blickrichtung jedes Auges zu der jeweiligen Bezugsrichtung zu erfassen und daraus optional die Blickrichtung des Fahrers abzuleiten. So kann zum Beispiels festgestellt werden, dass der Fahrer nach links blickt (und gegebenenfalls mit welchem Winkel zu einer Bezugsrichtung), wenn der Winkel für das linke Auge kleiner ist, als der Winkel für das rechte Auge, beide Winkel aber nach links laufen von der jeweiligen Bezugsrichtung aus. Die Verarbeitungsvorrich- tung kann in einer Weiterbildung dazu eingerichtet sein mithilfe der erfassten Winkel bzw. Blickrichtungen für jedes Auge, und dem Augenabstand auch die Entfernung und Richtung zu dem betrachteten Objektes festzustellen. Verarbeitungseinrichtung kann ferner dazu eingerichtet sein, die horizontale Kopfbewegung zu erfassen. Um das Signal-zu-Rausch Verhältnis der Aufnahme zu erhöhen, ist in einer Weiterbildung vorgesehen, den teildurchlässigen Spiegel so auszugestalten, dass er durch Ansteuerung, beispielsweise durch elektrische Ansteuerung, seine Teildurchlässigkeit ändern kann und insbesondere nicht mehr teildurchlässig wird. Ferner ist die Vorrichtung dazu eingerichtet, beim Tätigen der Aufnahme den Spiegel so anzu- steuern, dass er für die Aufnahme nicht mehr teildurchlässig ist. Und damit passierendes Licht im Wesentlichen blockiert. Mit anderen Worten: Der Spiegel wird für die Aufnahme so angesteuert, dass er auf seine vom Fahrer weg gerichtete Seite treffendes Licht nicht mehr durch ihn hindurchtreten lässt, auf seine andere Seite treffendes aber Licht reflektiert. In einer Variante ist der teildurchlässige Spiegel auf beiden Seiten für Infrarotlicht im Wesentlichen reflektierend, die zweite Lichtquelle eine Infrarotlichtquelle und die Kamera eine Infrarot-Kamera. Im Wesentlichen bedeutet beispielsweise mehr als 50%, mehr als 60% oder mehr als 80%. Mit anderen Worten: Infrarotlicht wird von der dem Fahrer abgewandten Seite des Spiegels vollständig oder im Wesentlichen vollständig reflektiert und Infrarotlicht wird von der dem Fahrer zugewandten Seite vollständig oder im Wesentlichen vollständig reflektiert. Für Licht in anderen Wellenlängenbereichen hat der Spiegel jedoch nicht diese Eigenschaft. Diese Variante hat den Vorteil, dass die Infrarot-Aufnahme der Kamera nicht durch aus der Umgebung des Fahrzeugs einfallendes Infrarot-Licht verschlechtert wird. Das Signal-zu-Rausch Verhältnis ist in dieser Variante vorteilhafter. In an advantageous development, the processing device is further configured to detect and output the vertical viewing angle of the driver's eyes, in other words, whether the driver is looking up or down. This can be used to adjust the head-up display accordingly. Furthermore, the processing device can be set up to detect and output the horizontal viewing direction of the driver's eyes and / or eye movement. For this purpose, the processing device can be set up to fix a reference direction for each eye, the reference directions being parallel to one another, detecting the angle of the viewing direction of each eye relative to the respective reference direction and optionally deriving the driver's line of sight. For example, it may be determined that the driver is looking to the left (and optionally at what angle to a reference direction) if the angle for the left eye is smaller than the angle for the right eye, but both angles are to the left of the respective reference direction. The processing equipment In a further development, the device can be set up with the aid of the detected angles or viewing directions for each eye, and the eye distance can also be determined from the distance and direction to the object under consideration. Processing means may be further adapted to detect the horizontal head movement. In order to increase the signal-to-noise ratio of the recording, it is provided in a development to design the partially transmissive mirror so that it can change its partial transmission by driving, for example by electrical control and in particular no longer becomes partially transparent. Furthermore, the device is set up to control the mirror so that it is no longer semitransparent for recording when the recording is made. And thus essentially blocks passing light. In other words, the mirror is controlled for the recording in such a way that it no longer lets its light pass through on its side directed away from the driver, but reflects light striking on its other side. In one variant, the partially transmissive mirror is substantially reflective on both sides for infrared light, the second light source is an infrared light source and the camera is an infrared camera. Essentially, for example, more than 50% means more than 60% or more than 80%. In other words, infrared light is completely or substantially completely reflected by the side of the mirror facing away from the driver, and infrared light is completely or substantially completely reflected by the driver-facing side. However, for mirrors in other wavelength ranges, the mirror does not have this property. This variant has the advantage that the infrared image of the camera is not degraded by incident from the environment of the vehicle infrared light. The signal-to-noise ratio is more advantageous in this variant.
Eine erfindungsgemäße Vorrichtung zum Erfassen der Position des Fahrers eines Fahrzeugs oder eines Teils des Fahrers, insbesondere der Augen, umfasst: einen teildurchlässigen Spiegel; eine Infrarot-Kamera, die dazu eingerichtet ist, eine Aufnahme zu machen; eine Infrarot-Lichtquelle; wobei die Lichtquelle, der teildurchläs- sige Spiegel und die Kamera so angeordnet sind, dass sich von der Lichtquelle emittiertes Licht mindestens durch den teildurchlässigen Spiegel auf einen Bereich, der dem Fahrer oder einem Teil des Fahrers, insbesondere dessen Augen, zugeordnet ist, und bei Reflexion in diesem Bereich von dort über den teildurchlässigen Spiegel zurück zur Kamera ausbreitet; eine Verarbeitungseinrichtung, die operativ mit der Kamera gekoppelt ist und die dazu eingerichtet ist, die Aufnahme von der Kamera zu empfangen und die Position des Fahrers oder eines Teils des Fahrers, insbesondere der Augen, zu bestimmen. A device according to the invention for detecting the position of the driver of a vehicle or of a part of the driver, in particular of the eyes, comprises: a semitransparent mirror; an infrared camera set up to take a picture; an infrared light source; wherein the light source, the partially transmissive mirror and the camera are arranged so that light emitted by the light source at least through the partially transmissive mirror to a region which is associated with the driver or a part of the driver, in particular his eyes, and when reflected in this area from there via the partially transmitting mirror back to the camera propagates; a processing device operatively coupled to the camera and configured to receive the capture from the camera and to determine the position of the driver or a portion of the driver, particularly the eyes.
Durch die Anordnung der Lichtquelle, so dass ihr Licht über den teildurchlässigen Spiegel zum Fahrer geleitet wird, wird eine versteckte und geschützte Anordnung der Lichtquelle ermöglicht. Die Infrarot-Kamera ist dazu eingerichtet, Aufnahmen im Infrarotbereich des Lichts zu machen und Licht anderer Wellenlängen im Wesentlichen unberücksichtigt zu lassen. The arrangement of the light source, so that its light is passed through the partially reflecting mirror to the driver, a hidden and protected arrangement of the light source is made possible. The infrared camera is set up to take pictures in the infrared range of the light and to essentially ignore light of other wavelengths.
In einer vorteilhaften Weiterbildung ist die Verarbeitungseinrichtung dazu eingerichtet ist, in der Aufnahme Doppelbilder aufgrund der Reflexion im halbdurchlässigen Spiegel zu erkennen und bei der Bestimmung der Position des Fahrers oder eines Teils des Fahrers zu berücksichtigen. Auf diese Weise wird es möglich auf ansonsten häufig verwendete Keilfolien im haibdurchlässigen Spiegel, beispielsweise in der Windschutzscheibe, zu verzichten. Dies ermöglicht Kosten- und Komplexitätseinsparungen. In an advantageous development, the processing device is adapted to recognize in the recording double images due to the reflection in the semitransparent mirror and to take into account in the determination of the position of the driver or a part of the driver. In this way it is possible to dispense with otherwise commonly used wedge films in the haibdurchlässigen mirror, for example in the windshield. This allows cost and complexity savings.
In einer Variante ist die Vorrichtung dazu eingerichtet, eine weitere Aufnahme mit der Kamera zu machen, wobei für die weitere Aufnahme die Lichtquelle nicht aktiviert wird, diese also kein Licht emittiert. Die Vorrichtung ist ferner dazu eingerichtet, sich entsprechende Pixel der Aufnahmen zu subtrahieren. Insbesondere ist die Verarbeitungsvorrichtung ferner dazu eingerichtet auf dieser Basis die Position des Fahrers oder eines Teils des Fahrers zu erfassen. Mithilfe dieses Vorgehens kann der störende Signalanteil in den Aufnahmen durch das Umgebungslicht, insbesondere die direkte Sonneneinstrahlung, kompensiert werden. In a variant, the device is set up to take another picture with the camera, the light source not being activated for the further recording, that is, it does not emit light. The device is further configured to subtract corresponding pixels of the images. In particular, the processing device is further configured to detect the position of the driver or a part of the driver on this basis. Using this procedure, the disturbing signal component in the images can be compensated by the ambient light, in particular the direct sunlight.
Ganz allgemein kann die vorliegende Vorrichtung auch bei Flugzeugen oder Schiffen angewandt werden, die hier auch von dem Begriff Fahrzeug umfasst verstanden werden. Der Begriff Fahrer deckt gleichermaßen den Pilot eines Flugzeugs oder den Steuermann eines Schiffs ab. Figur 1 zeigt in einer Prinzipskizze eine Vorrichtung zum Erfassen der Position der Augen eines Fahrers eines Kraftfahrzeugs gemäß einem bevorzugten Ausführungsbeispiel. In general, the present device can also be applied to aircraft or ships, which are understood here to include the term vehicle. The term driver equally covers the pilot of an aircraft or the helmsman of a ship. 1 shows a schematic diagram of a device for detecting the position of the eyes of a driver of a motor vehicle according to a preferred embodiment.
Figur 2 zeigt eine Prinzipskizze zur Bestimmung der Blickrichtung. Beschreibung eines bevorzugten Ausführungsbeispiels FIG. 2 shows a schematic diagram for determining the viewing direction. Description of a preferred embodiment
Die Figur 1 zeigt eine Prinzipskizze einer Vorrichtung zum Erfassen der Position der Augen eines Fahrers eines Kraftfahrzeugs gemäß dem bevorzugten Ausführungsbeispiel. Die Vorrichtung umfasst eine bildgebende Vorrichtung 1 , eine optische Vorrichtung 2, einen teildurchlässigen Spiegel 3, der in einer Windschutzscheibe eines Kraftfahrzeugs umfasst ist, und ein Auge 6 des Fahrers. Diese Elemente der Vorrichtung sind unter dem Armaturenbrett 8 des Kraftfahrzeugs angeordnet. 1 shows a schematic diagram of a device for detecting the position of the eyes of a driver of a motor vehicle according to the preferred embodiment. The device comprises an imaging device 1, an optical device 2, a semitransparent mirror 3, which is included in a windshield of a motor vehicle, and an eye 6 of the driver. These elements of the device are arranged under the dashboard 8 of the motor vehicle.
Weiterhin ist unter dem Armaturenbrett 8 die Lichtquelle 5 angeordnet, die pulsartig Infrarotstrahlung aussendet. Die von der Lichtquelle 5 ausgesendete Strahlung passiert die optische Vorrichtung 2, wird von dem teiidurchlässigen Spiegel 3 reflektiert und trifft auf das Auge 6 des Fahrers. In der Figur 1 ist nur ein beispielhafter Lichtstrahl (gestrichelte Linien) abgebildet. Tatsächlich ist der von der Infrarotlichtquelle 5 beleuchtete Bereich größer. Vom Auge 6 wird Infrarotstrahlung zurück auf den teildurchlässigen Spiegel 3 reflektiert und durch die optische Vorrichtung 2 zur Kamera 4 gelenkt (durchgezogene Linie). Die Kamera 4, die ebenfalls im Armaturenbrett 8 angeordnet ist, nimmt die reflektierte Strahlung auf und erzeugt eine Aufnahme. Die Aufnahme deckt einen größeren Bereich ab, als durch den Strahl in der Figur 1 angedeutet. Das Zusammenspiel zwischen Beleuchtung und Aufnahme ähnelt dem Prinzip der Fotographie mit Blitz. Generell kann allerdings auch eine Dauerbeleuchtung mit der Lichtquelle 5 und eine entsprechend kontinuierliche Aufnahme vorge- sehen sein. Die Verarbeitungseinrichtung 7 verarbeitet die Aufnahme und bestimmt die Position der Augen 6 des Fahrers. Furthermore, the light source 5 is arranged under the dashboard 8, which emits pulse-like infrared radiation. The radiation emitted by the light source 5 passes through the optical device 2, is reflected by the opaque mirror 3 and impinges on the eye 6 of the driver. FIG. 1 shows only an exemplary light beam (dashed lines). In fact, the area illuminated by the infrared light source 5 is larger. From the eye 6, infrared radiation is reflected back onto the partially transmissive mirror 3 and directed by the optical device 2 to the camera 4 (solid line). The camera 4, which is also located in the dashboard 8, receives the reflected radiation and produces a recording. The recording covers a larger area than indicated by the beam in FIG. The interaction between lighting and recording is similar to the principle of photography with lightning. In general, however, a continuous lighting with the light source 5 and a correspondingly continuous recording can be provided. The processing device 7 processes the recording and determines the position of the eyes 6 of the driver.
Figur 2 zeigt eine Prinzipskizze zur Bestimmung der Blickrichtung. Ein Objekt 10 wird durch die Windschutzscheibe 11 eines Fahrzeugs durch einen Fahrer mit Au- gen 6 beobachtet. Über die erfasste Lage der Pupillen der Augen 6 wird für jedes Auge je ein Winkel W1 bzw. W2 zu einer jedem Auge zugeordneten parallelen Richtung 9 (gestrichelt dargestellt) bestimmt. Aus diesen kann dann zusätzlich die Blickrichtung des Fahrers ermittelt werden. Die Blickrichtung des Fahrers kann durch den Winkel einer Verbindung von einem dem Fahrer zugeordneten Punkt (beispielsweise der Mittelpunkt zwischen den Augen) und dem Objekt zu einer Bezugsrichtung bestimmt sein. Die Bezugsrichtung ist parallel zu den Bezugsrichtungen der Augen und setzt in dem zugeordneten Punkt auf. Das Head-up Display kann z.B. entsprechend der Blickrichtung des Fahrers bzw. eingestellt werden. FIG. 2 shows a schematic diagram for determining the viewing direction. An object 10 is passed through the windshield 11 of a vehicle by a driver with an automobile. gene 6 observed. By way of the detected position of the pupils of the eyes 6, an angle W1 or W2 for each eye is determined for a parallel direction 9 associated with each eye (shown in dashed lines). From these, the driver's line of sight can be determined in addition. The driver's line of sight may be determined by the angle of a connection from a point associated with the driver (for example, the midpoint between the eyes) and the object to a reference direction. The reference direction is parallel to the reference directions of the eyes and starts at the associated point. The head-up display can be adjusted according to the direction of the driver or, for example.

Claims

ANSPRÜCHE EXPECTATIONS
1. Vorrichtung zum Erfassen der Position des Fahrers eines Fahrzeugs oder eines Teils des Fahrers, insbesondere der Augen (6), umfassend: 1. Device for detecting the position of the driver of a vehicle or part of the driver, in particular the eyes (6), comprising:
Ein Head-Up-Display umfassend eine bildgebende Vorrichtung (1 ) mit einer ersten Lichtquelle, eine optische Vorrichtung A head-up display comprising an imaging device (1) with a first light source, an optical device
(2) und einen teildurchlässigen(2) and a partially permeable one
Spiegel (3); eine Kamera (4), die dazu eingerichtet ist, eine Aufnahme zu machen; eine zweite Lichtquelle (5) außerhalb der bildgebenden Vorrichtung, insbesondere eine Infrarot-Lichtquelle; wobei die zweite Lichtquelle (5), der teildurchlässige Spiegel (3) und die Kamera (4) so angeordnet sind, dass sich von der zweiten Lichtquelle (5) emittiertes Licht mindestens durch den teildurchlässigen Spiegel (3) auf einen Bereich, der dem Fahrer oder einem Teil des Fahrers, insbesondere dessen Augen (6), zugeordnet ist, und bei Reflexion in diesem Bereich von dort über den teildurchlässigen Spiegel mirror (3); a camera (4) which is set up to take a picture; a second light source (5) outside the imaging device, in particular an infrared light source; wherein the second light source (5), the partially transparent mirror (3) and the camera (4) are arranged such that light emitted from the second light source (5) is directed at least through the partially transparent mirror (3) to an area that is visible to the driver or a part of the driver, in particular his eyes (6), and when reflected in this area from there via the partially transparent mirror
(3) zurück zur Kamera (4) ausbreitet; eine Verarbeitungseinrichtung (7), die operativ mit der Kamera (4) gekoppelt ist und die dazu eingerichtet ist, die Aufnahme von der Kamera (3) spreads back to the camera (4); a processing device (7) which is operatively coupled to the camera (4) and which is set up to receive the recording from the camera
(4) zu empfangen und die Position des Fahrers oder eines Teils des Fahrers, insbesondere der Augen (6), zu bestimmen. (4) to receive and to determine the position of the driver or part of the driver, in particular the eyes (6).
Vorrichtung nach Anspruch 1 , wobei die zweite Lichtquelle Device according to claim 1, wherein the second light source
(5) einen kurzen Lichtimpuls, insbesondere im sichtbaren Bereich oder im Infrarotbereich, aussendet und wobei die Kamera (4) dazu eingerichtet ist, diesen kurzen Lichtimpuls aufzunehmen, und wobei die Verarbeitungseinrichtung (7) dazu eingerichtet ist, die Aufnahme der Kamera zu verarbeiten. (5) emits a short light pulse, in particular in the visible range or in the infrared range, and the camera (4) is set up to record this short light pulse, and the processing device (7) is set up to process the camera's recording.
Vorrichtung nach einem der Ansprüche 1 oder 2, ferner umfassend: Eine Steuerung zur Anpassung der Darstellung einer Anzeige des Fahrzeugs, insbesondere eines Zentralinstruments, wobei die Steuerung dazu eingerichtet ist, in Abhängigkeit der erfassten Position die Darstellung der Anzeige anzupassen. Device according to one of claims 1 or 2, further comprising: A control for adapting the display of a display of the vehicle, in particular a central instrument, the control being set up to adapt the display of the display depending on the detected position.
Vorrichtung nach Anspruch 3, wobei die Steuerung dazu eingerichtet ist, in Abhängigkeit der erfassten Position und der Position eines Lenkrads des Fahrzeugs die Darstellung der Anzeige anzupassen. Device according to claim 3, wherein the control is set up to adapt the display of the display depending on the detected position and the position of a steering wheel of the vehicle.
Vorrichtung nach einem der Ansprüche 1 bis 4, wobei die Verarbeitungseinrichtung ferner dazu eingerichtet ist, den Pupillendurchmesser der Augen (6) des Fahrers zu ermitteln, insbesondere bei Dunkelheit, und insbesondere dazu eingerichtet ist, die Höhe der Blendung zu bestimmen. Device according to one of claims 1 to 4, wherein the processing device is further set up to determine the pupil diameter of the driver's eyes (6), in particular in the dark, and in particular is set up to determine the level of glare.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, wobei die Verarbeitungseinrichtung (7) ferner dazu eingerichtet ist, den vertikalen Blickwinkel der Augen (6) des Fahrers zu erfassen. 6. Device according to one of claims 1 to 5, wherein the processing device (7) is further set up to detect the vertical viewing angle of the driver's eyes (6).
Vorrichtung nach einem der Ansprüche 1 bis 6, wobei die Verarbeitungseinrichtung (7) ferner dazu eingerichtet ist, den horizontalen Blickwinkel der Augen (6) des Fahrers zu erfassen. Device according to one of claims 1 to 6, wherein the processing device (7) is further set up to detect the horizontal viewing angle of the driver's eyes (6).
Vorrichtung nach Anspruch 7, wobei die Verarbeitungseinrichtung (7) ferner dazu eingerichtet ist, eine Bezugsrichtung (9) für jedes Auge (6) festzulegen, die dazu geeignet ist, die horizontale Blickrichtung jedes entsprechenden Auges (6) zu bestimmen, wobei die Bezugsrichtungen (9) parallel zueinander sind; und wobei die Verarbeitungseinrichtung (7) ferner dazu eingerichtet ist, den Winkel (W1, W2) der Blickrichtung jedes Auges (6) zu der jeweiligen zugeordneten Blickrichtung zu bestimmen. Apparatus according to claim 7, wherein the processing device (7) is further adapted to define a reference direction (9) for each eye (6) which is suitable for determining the horizontal viewing direction of each corresponding eye (6), the reference directions ( 9) are parallel to each other; and wherein the processing device (7) is further set up to determine the angle (W1, W2) of the viewing direction of each eye (6) to the respective assigned viewing direction.
Vorrichtung nach einem der vorhergehenden Ansprüche, wobei der teildurchlässige Spiegel auf beiden seinen Seiten für Infrarotlicht im Wesentli- chen reflektierend ist, wobei die zweite Lichtquelle eine Infrarotlichtquelle ist und wobei die Kamera eine Infrarot-Kamera ist. Device according to one of the preceding claims, wherein the partially transparent mirror is essentially open to infrared light on both sides. chen is reflective, wherein the second light source is an infrared light source and wherein the camera is an infrared camera.
Vorrichtung zum Erfassen der Position des Fahrers eines Fahrzeugs oder eines Teils des Fahrers, insbesondere der Augen, umfassend: einen teildurchlässigen Spiegel; eine Infraot-Kamera, die dazu eingerichtet ist, eine Aufnahme zu machen; eine Infrarot-Lichtquelle; wobei die Lichtquelle, der teildurchlässige Spiegel und die Kamera so angeordnet sind, dass sich von der Lichtquelle emittiertes Licht mindestens durch den teiidurchlässigen Spiegel auf einen Bereich, der dem Fahrer oder einem Teil des Fahrers, insbesondere dessen Augen, zugeordnet ist, und bei Reflexion in diesem Bereich von dort über den teildurchlässigen Spiegel zurück zur Kamera ausbreitet; eine Verarbeitungseinrichtung, die operativ mit der Kamera gekoppelt ist und die dazu eingerichtet ist, die Aufnahme von der Kamera zu empfangen und die Position des Fahrers oder eines Teils des Fahrers, insbesondere der Augen, zu bestimmen. Device for detecting the position of the driver of a vehicle or part of the driver, in particular the eyes, comprising: a partially transparent mirror; an infrared camera set up to take a picture; an infrared light source; wherein the light source, the partially transparent mirror and the camera are arranged such that light emitted by the light source is reflected at least through the partially transparent mirror onto an area that is assigned to the driver or a part of the driver, in particular his eyes, and when reflected in This area spreads from there via the partially transparent mirror back to the camera; a processing device which is operatively coupled to the camera and which is set up to receive the recording from the camera and to determine the position of the driver or part of the driver, in particular the eyes.
Vorrichtung nach Anspruch 10, wobei die Lichtquelle einen kurzen Lichtimpuls im Infrarotbereich, aussendet und wobei die Kamera dazu eingerichtet ist, diesen kurzen Lichtimpuls aufzunehmen, und wobei die Verarbeitungs- einrichtung dazu eingerichtet ist, die Aufnahme der Kamera zu verarbeiten. Device according to claim 10, wherein the light source emits a short light pulse in the infrared range, and wherein the camera is set up to record this short light pulse, and wherein the processing device is set up to process the recording of the camera.
Vorrichtung nach einem der Ansprüche 10 bis 11 wobei der teildurchlässige Spiegel auf beiden Seiten für Infrarotlicht im Wesentlichen reflektierend ist, wobei die zweite Lichtquelle eine Infrarotlichtquelle ist und wobei die Kamera eine Infrarot-Kamera ist. Device according to one of claims 10 to 11, wherein the partially transparent mirror is substantially reflective for infrared light on both sides, wherein the second light source is an infrared light source and wherein the camera is an infrared camera.
13. Vorrichtung nach einem der Ansprüche 10 bis 12, wobei die Verarbeitungseinrichtung dazu eingerichtet ist, in der Aufnahme Doppelbilder aufgrund der Reflexion im halbdurchlässigen Spiegel zu erkennen und bei der Bestimmung der Position des Fahrers oder eines Teils des Fahrers zu berücksichti- gen. 13. Device according to one of claims 10 to 12, wherein the processing device is set up to detect double images in the recording due to the reflection in the semi-transparent mirror and to take them into account when determining the position of the driver or part of the driver.
14. Fahrzeug, umfassend eine Vorrichtung nach einem der Ansprüche 1 bis 13. 14. Vehicle comprising a device according to one of claims 1 to 13.
PCT/EP2013/063782 2012-07-05 2013-07-01 Camera system for detecting the position of a driver of a motor vehicle WO2014005972A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102012211729.6A DE102012211729A1 (en) 2012-07-05 2012-07-05 Camera system for detecting the position of a driver of a motor vehicle
DE102012211729.6 2012-07-05

Publications (1)

Publication Number Publication Date
WO2014005972A1 true WO2014005972A1 (en) 2014-01-09

Family

ID=48746491

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2013/063782 WO2014005972A1 (en) 2012-07-05 2013-07-01 Camera system for detecting the position of a driver of a motor vehicle

Country Status (2)

Country Link
DE (1) DE102012211729A1 (en)
WO (1) WO2014005972A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017100676A1 (en) 2017-01-16 2018-07-19 Valeo Schalter Und Sensoren Gmbh Calibration of a head-up display of a motor vehicle
FR3073054A1 (en) * 2018-03-20 2019-05-03 Continental Automotive France OPTICAL SYSTEM WITH HEAD-UP DISPLAY AND INTEGRATED CAMERA
FR3073053A1 (en) * 2018-03-20 2019-05-03 Continental Automotive France OPTICAL SYSTEM WITH HEAD-HIGH DISPLAY AND INTEGRATED LIGHTING
US20200023739A1 (en) * 2016-08-04 2020-01-23 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Combined head up display (hud) and camera system
US11567241B2 (en) * 2019-01-29 2023-01-31 Panasonic Intellectual Property Management Co., Ltd. Light projection lens and mobile object

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9360668B2 (en) * 2014-08-07 2016-06-07 Continental Automotive Systems, Inc. Dynamically calibrated head-up display
DE102015013081A1 (en) 2015-10-08 2016-04-28 Daimler Ag Display arrangement for a vehicle and method for adjusting a display
EP3426618B1 (en) 2016-03-11 2020-09-09 Saint-Gobain Glass France Perforated thermoplastic films and their use in the preparation of wedge-shaped films
WO2017153167A1 (en) 2016-03-11 2017-09-14 Saint-Gobain Glass France Method for producing wedge-shaped, thermoplastic films and use thereof
DE102016215826A1 (en) 2016-08-23 2018-03-01 Bayerische Motoren Werke Aktiengesellschaft Projection display system for a motor vehicle with additional sensors
DE102017002236A1 (en) * 2017-03-08 2018-09-13 Nicolas Bissantz Device for monitoring the direction of a person
DE102017219790A1 (en) * 2017-11-07 2019-05-09 Volkswagen Aktiengesellschaft System and method for determining a pose of augmented reality goggles, system and method for gauging augmented reality goggles, method for assisting pose determination of augmented reality goggles, and motor vehicle suitable for the method
CN111417518A (en) 2018-11-05 2020-07-14 法国圣戈班玻璃厂 Composite glass pane with wedge-shaped cross section
CN111417517A (en) 2018-11-05 2020-07-14 法国圣戈班玻璃厂 Composite glass pane for head-up display
WO2020094419A1 (en) 2018-11-05 2020-05-14 Saint-Gobain Glass France Composite panel for a head-up display
CN112912786A (en) 2019-10-02 2021-06-04 法国圣戈班玻璃厂 Composite safety glass pane for head-up display
WO2021204550A1 (en) 2020-04-07 2021-10-14 Saint-Gobain Glass France Colored thermoplastic intermediate layer with wedge-shaped cross-section
EP4132782A1 (en) 2020-04-07 2023-02-15 Saint-Gobain Glass France Multilayer coloured intermediate layer having a wedge-shaped cross section
CN113966275A (en) 2020-05-18 2022-01-21 法国圣戈班玻璃厂 Composite glass pane for holographic head-up display
CN114096409A (en) 2020-06-03 2022-02-25 法国圣戈班玻璃厂 Composite glass pane with holographic element
WO2021254872A1 (en) 2020-06-15 2021-12-23 Saint-Gobain Glass France Laminated pane with a holographic element, and method for producing the same
KR20230007435A (en) 2020-06-15 2023-01-12 쌩-고벵 글래스 프랑스 Composite plate glass having holographic elements and its production method
CN114144246A (en) 2020-06-16 2022-03-04 法国圣戈班玻璃厂 Composite sheet
WO2021254912A1 (en) 2020-06-16 2021-12-23 Saint-Gobain Glass France Wedge-shaped multi-ply intermediate layer with acoustically damping properties
CN114126857A (en) 2020-06-16 2022-03-01 法国圣戈班玻璃厂 Wedge-shaped multilayer interlayer with acoustic damping properties
EP4210943A1 (en) 2020-09-14 2023-07-19 Saint-Gobain Glass France Composite panel for a holographic head-up display
WO2022053548A1 (en) 2020-09-14 2022-03-17 Saint-Gobain Glass France Method and apparatus for coating a curved pane with a photosensitive material
EP4210942A1 (en) 2020-09-14 2023-07-19 Saint-Gobain Glass France Process for producing a composite pane having a hologram
CN114829138A (en) 2020-11-11 2022-07-29 法国圣戈班玻璃厂 Composite glass plate with hologram element and electrochromic functional element
CN116829351A (en) 2022-01-26 2023-09-29 法国圣戈班玻璃厂 Composite glass sheet with hologram element and anti-reflection coating
WO2023144084A1 (en) 2022-01-26 2023-08-03 Saint-Gobain Glass France Method for producing a composite pane comprising at least one hologram
DE102022112449A1 (en) 2022-05-18 2023-11-23 Bayerische Motoren Werke Aktiengesellschaft MOTOR VEHICLE WITH A DRIVER ASSISTANCE SYSTEM CONTROLLED BASED ON DATA COME FROM A VEHICLE INTERIOR
WO2023247264A1 (en) 2022-06-21 2023-12-28 Saint-Gobain Glass France Composite pane with hologram element and an optically high-refractive layer
WO2023247267A1 (en) 2022-06-21 2023-12-28 Saint-Gobain Glass France Composite pane with hologram element

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734357A (en) 1994-12-02 1998-03-31 Fujitsu Limited Vehicular display device adjusting to driver's positions
EP1333410A2 (en) * 2002-01-30 2003-08-06 Delphi Technologies, Inc. Eye traking / hud system
DE102007001266A1 (en) * 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
EP2068189A2 (en) * 2007-12-04 2009-06-10 Calsonic Kansei Corporation Head-up display device for vehicle
DE102008055186A1 (en) * 2008-08-29 2010-03-04 Robert Bosch Gmbh Projection display device for use as inverse head-up-display and integrable in instrument cluster in e.g. airplane, has sensor measuring light intensity of ambient lights and transmitting intensity as control variable to controller unit
US20100066984A1 (en) * 2008-09-17 2010-03-18 Kabushiki Kaisha Toshiba Display device and mobile apparatus

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004031311A1 (en) * 2004-06-29 2006-01-19 Robert Bosch Gmbh Information representing device for e.g. aircraft, has optical system representing pupil of user of image sensor, and common optical system over which image is projected on projection surface and pupil of user is imageable
DE102005052424A1 (en) * 2005-11-03 2007-05-10 Robert Bosch Gmbh projection display
DE102006019112A1 (en) * 2006-04-25 2007-10-31 Siemens Ag Passenger car, has infrared light source arranged in car, and infrared camera receiving light, where light source is adjusted on area of windscreen such that area reflects infra-red light on face of person driving car
JP2009229752A (en) * 2008-03-21 2009-10-08 Toshiba Corp Display device, display method and headup display
JP2009246505A (en) * 2008-03-28 2009-10-22 Toshiba Corp Image display apparatus and image display method
DE102010040694A1 (en) * 2010-09-14 2012-03-15 Robert Bosch Gmbh Head-Up Display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5734357A (en) 1994-12-02 1998-03-31 Fujitsu Limited Vehicular display device adjusting to driver's positions
EP1333410A2 (en) * 2002-01-30 2003-08-06 Delphi Technologies, Inc. Eye traking / hud system
DE102007001266A1 (en) * 2007-01-08 2008-07-10 Metaio Gmbh Optical system for a head-up display installed in a motor vehicle has an image-generating device, image-mixing device, a beam splitter and an image-evaluating device
EP2068189A2 (en) * 2007-12-04 2009-06-10 Calsonic Kansei Corporation Head-up display device for vehicle
DE102008055186A1 (en) * 2008-08-29 2010-03-04 Robert Bosch Gmbh Projection display device for use as inverse head-up-display and integrable in instrument cluster in e.g. airplane, has sensor measuring light intensity of ambient lights and transmitting intensity as control variable to controller unit
US20100066984A1 (en) * 2008-09-17 2010-03-18 Kabushiki Kaisha Toshiba Display device and mobile apparatus

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200023739A1 (en) * 2016-08-04 2020-01-23 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Combined head up display (hud) and camera system
US11642961B2 (en) * 2016-08-04 2023-05-09 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Combined head up display (HUD) and camera system
DE102017100676A1 (en) 2017-01-16 2018-07-19 Valeo Schalter Und Sensoren Gmbh Calibration of a head-up display of a motor vehicle
FR3073054A1 (en) * 2018-03-20 2019-05-03 Continental Automotive France OPTICAL SYSTEM WITH HEAD-UP DISPLAY AND INTEGRATED CAMERA
FR3073053A1 (en) * 2018-03-20 2019-05-03 Continental Automotive France OPTICAL SYSTEM WITH HEAD-HIGH DISPLAY AND INTEGRATED LIGHTING
US11567241B2 (en) * 2019-01-29 2023-01-31 Panasonic Intellectual Property Management Co., Ltd. Light projection lens and mobile object

Also Published As

Publication number Publication date
DE102012211729A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
WO2014005972A1 (en) Camera system for detecting the position of a driver of a motor vehicle
EP3688511B1 (en) Display device, in particular for a vehicle, and vehicle having a display device of this kind
EP3475755B1 (en) Display projecting a virtual image into the field of view of a user
EP2616869B1 (en) Head-up display
DE102013219376B4 (en) Display device for a vehicle
DE102011083662B4 (en) Display apparatus for an occupant of a vehicle, vehicle and method for generating a display in an occupant's field of view
DE102015202846A1 (en) Vehicle vision system with display
DE102016008770A1 (en) Image display system
DE102007047643A1 (en) Apparatus for detecting an eye condition and method for attaching the same
DE102008055186B4 (en) Projection display device for vehicles
WO2001002892A1 (en) Image representation system and method for vehicles
DE102009002979A1 (en) Projection display device for vehicles, comprises sensor units formed to generate projection data from sensor values and location information, where control unit is formed to perform filtering of projection data
DE102020134917A1 (en) Display system
DE19802220A1 (en) Information display device used with computer or onboard automobile
DE102013222584A1 (en) Optical playback and recognition system in a vehicle
DE102018221545A1 (en) Projection device
DE102015007485A1 (en) Method and device for adapting image contents of a head-up display on a windshield of a vehicle
DE102012200762A1 (en) Method for signaling traffic condition in environment of vehicle, involves recording surrounding area of vehicle using sensor, and indicating recognized sensitive object on display arranged in rear view mirror housing of vehicle
DE102019004692B3 (en) Device and method for determining image data of the eyes, eye positions and / or a line of sight of a vehicle user in a vehicle
DE102015221970A1 (en) Projection device for a motor vehicle
DE102016111119A1 (en) Laser projection device and method for generating virtual images
DE102019112449A1 (en) Motor vehicle with an optical arrangement for detecting vehicle interior objects in the invisible spectral range
DE102021113845A1 (en) Vehicle-side display device
DE102013017697A1 (en) Motor car has image source which is provided for insertion of formed image in portion of windshield having reflective coating, such that color of image formed by light from image source is adapted to reflection spectrum of coating
DE102006019112A1 (en) Passenger car, has infrared light source arranged in car, and infrared camera receiving light, where light source is adjusted on area of windscreen such that area reflects infra-red light on face of person driving car

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13734036

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13734036

Country of ref document: EP

Kind code of ref document: A1