In 1923 nam hij deel aan de mislukte Bierkellerputsch van de partij in München. In 1929 koos Adolf Hitler hem uit als leider van de SS. In 1936 had hij het commando over het gehele Duitse politie-apparaat. Hij richtte de Gestapo, de geheime politie, op, waarmee hij, eerst in Duitsland en later in alle door Duitsland bezette gebieden in Europa de onderdrukking in stand hield.

Een andere taak die Himmler had was het leiding geven aan de opzet van het systeem waarmee de Entlösung van het 'Jodenvraagstuk' kon worden bereikt. Dit hield onder meer in de bouw en inrichting van concentratiekampen en de opzet van de logistiek van het geheel. Aanvankelijk deed hij dat in samenwerking met Heydrich. Die werd echter eind 1942 vermoord. Tijdens de Wannseeconferentie van 1942 had Hitler het bevel gegeven tot de vernietiging van 10 miljoen joden. Het werden er uiteindelijk zes miljoen. Het einde van de Tweede Wereldoorlog bracht dit proces tot een abrupt einde. In april 1945 werd Himmler door Hitler als verrader uit de Nazipartij gezet omdat hij met de geallieerden onderhandelde.

Na zijn arrestatie door Britse troepen in de meidagen van 1945 pleegde Himmler zelfmoord.