Ehmsen studierte von 1906 bis 1909 an der Kunstgewerbeschule Düsseldorf und von 1910 bis 1911 an der Académie Colarossi in Paris, wo er u. a. Carl Hofer kennenlernte. 1913 lebte er in München und hatte seine erste Einzelausstellung im Städtischen Museum Essen. 1914 beteiligte er sich mit der Gruppe „Rheinische Expressionisten“ an der Ausstellung der Galerie Flechtheim in Düsseldorf. Den Krieg erlebte er in Frankreich und Rumänien. 1920 hat er eine große Werkschau in der berühmten Galerie Goltz in München. Zahlreiche Ausstellungen folgten in den kommenden Jahren in ganz Deutschland. 1929  trennte er sich von seiner Frau und zog nach Berlin. 1930 hatte er zusammen mit Georg Schrimpf und Karl Schmidt-Rottluff ein Stipendium für die Villa Massimo in Rom. 1932 folgte eine große Ausstellung seiner Werke in Moskau. Die Gestapo nahm Ehmsen 1933 für zwei Monate fest und überwachte ihn bis 1938. 1937 wurden seine Werke aus 15 deutschen Museen entfernt, gleichzeitig erhielt er durch Flechtheim vermittelte Aufträge zur Dekoration von Flugstützpunkten und Kasernen und wurde 1939 in die Reichskulturkammer aufgenommen. Nachdem er als Mitglied der Propaganda-Staffel 1940 bis 1942 in Paris war, versetzte man ihn anschließend an die Ostfront, von der er 1944 nach Berlin zurückkehrte, wo 1945 sein Atelier ausgebombt wurde. Nach dem Krieg war er stellvertretender Direktor an der Berliner Akademie und gründete mit Carl Hofer sowie Pechstein und Schmidt-Rottluff den deutschen Künstlerbund. Nach Querelen wegen eines von vielen Künstlern unterschriebenen Friedensmanifestes wurde er Ende 1949 von der Hochschule entlassen und wechselte als Gründungsmitglied an die Akademie der Künste in Ostberlin.