Za poslanca Národnej rady (NR) SR bol prvýkrát zvolený v roku 2006, keď kandidoval za Smer-SD. Poslancom parlamentu sa stal aj po voľbách v roku 2010.
Po predčasných parlamentných voľbách pôsobil v rokoch 2012 – 2014 ako štátny tajomník Ministerstva financií SR. Od júla do novembra 2014 zastával post ministra školstva, 25. novembra 2014 nahradil odstupujúceho Pavla Pašku (Smer-SD) vo funkcii predsedu NR SR.
Podpredsedom vlády pre investície a informatizáciu sa stal po parlamentných voľbách v roku 2016. Počas politickej krízy po vražde Jána Kuciaka a jeho snúbenice bol začiatkom marca 2018 dočasne poverený vedením ministerstva kultúry namiesto Mareka Maďariča (Smer-SD), ktorý sa funkcie vzdal.
Prezident Kiska poveril 15. marca 2018 Pellegriniho zostavením novej vlády po tom, ako tretia vláda Roberta Fica podala demisiu. Na čele vlády zloženej zo zástupcov strán Smer-SD, SNS a Most-Híd bol od 22. marca 2018 do 20. marca 2020.
V predvolebnej kampani počas volieb do NR SR, ktoré sa konali 29. februára 2020, bol volebným lídrom strany Smer-SD. Zámer založiť novú politickú stranu oznámil Pellegrini 10. júna 2020. Stranu Hlas-SD zaregistrovali 11. septembra 2020 a 28. novembra sa konal ustanovujúci snem strany, na ktorom zvolili delegáti za predsedu strany Pellegriniho.
Po predčasných parlamentných voľbách 30. septembra 2023 sa stala strana Hlas-SD spolu so Smerom-SD a SNS súčasťou vládnej koalície. Za predsedu Národnej rady SR zvolili poslanci 131 hlasmi Petra Pellegriniho 25. októbra 2023. Svoju kandidatúru na post prezidenta SR oficiálne oznámil 19. januára 2024 v priestoroch Štátnej opery Banská Bystrica.
V prvom kole prezidentských volieb, ktoré sa konalo 23. marca 2024, skončil na druhom mieste, keď získal 834.718 hlasov voličov, čo bolo 37,02 %. Spolu s víťazom prvého kola Ivanom Korčokom (958.393 hlasov, 42,51 %) postúpil do druhého kola, ktoré sa uskutočnilo 6. apríla.
V druhom kole prezidentských volieb, ktoré sa konalo 6. apríla 2024, ho podporilo 53,12 percenta voličov (1.409.255 hlasov). Ivan Korčok získal 46,87 percenta, teda 1.243.709 hlasov.
