Byl redaktorem Práva lidu, v roce 1911 se stal poslancem říšské rady. Vrchol Šmeralovy kariéry v řadách sociální demokracie přišel za první světové války, když v roce 1916 stanul v jejím čele. Zastával ale loajální postoje k habsburské monarchii, a tak se stal terčem ostré kritiky národně zaměřeného křídla strany a ve funkci skončil již v roce 1917. Kvůli válečné "rakušácké politice" se po vzniku samostatného Československa ocitl v nemilosti a velkou část roku 1919 strávil jako dopisovatel Práva lidu ve Švýcarsku. V následujícím roce navštívil sovětské Rusko a po návratu domů stanul v čele marxistické levice, z níž se v květnu 1921 zrodila komunistická strana.

Šmeral se stal místopředsedou a jednou z nejvýraznějších postav KSČ až do převzetí strany "karlínskými kluky" v čele s Klementem Gottwaldem v roce 1929. Poté působil v mezinárodním komunistickém hnutí, byl ve vedení Komunistické internacionály a přelom 20. a 30. let tak strávil jako funkcionář Kominterny na Blízkém východě, v Mongolsku, Německu nebo Francii. Po roce 1934 pobýval a přednášel zpátky v ČSR, před okupací ale odjel do Moskvy, kde v květnu 1941 zemřel.