Vivió dos años en Surabaya (Indonesia) trabajando como profesor de francés. Debutó como crítico de cine en las revistas Positif y Télérama. En 1982 publicó su primera obra, Werner Herzog, una monografía sobre este realizador, y al año siguiente apareció su primera novela, L’amie du jaguar. Publicó después Bravoure (1984) (Bravura, 2016) y en 1986, La moustache (El bigote, 2015), que en 2005 adaptó al cine y que, en opinión de John Updike, «te deja KO en menos de 150 páginas». Ha sido miembro del jurado internacional del Festival de Cannes (2010) y del jurado del Cinéfondation, así como de la sección de cortos de Cannes (2012). En 2015 fue miembro del jurado del Festival Internacional de Cine de Venecia.

A partir de su obra L’Adversaire (2000) (El adversario, 2006), sobre el asesino Jean-Claude Romand, que obtuvo gran éxito de crítica y público, Carrère abandonó la ficción y comenzó a escribir textos en los que narra su propia experiencia o las vidas reales de otras personas y de personajes históricos. Él insiste en que esta obra y las siguientes no son obras de ficción: «La verdad que no sé cuántas veces hay que decir que las cosas son verdad, que ocurrieron como están relatadas. Lo escribo varias veces en el libro y aun así parece que hay gente que no está dispuesta a entender que se puede escribir algo que sea verdad, que hay mucha gente que hace una conexión directa entre “literatura” y “novela”, que considera que la literatura solo puede ser ficción». Este tipo de texto, en el que se entrecruzan hechos y personajes de la vida real con reflexiones sobre el acto de escribir y la experiencia del propio autor, es también el que aparece en sus siguientes obras, Un roman russe (Una novela rusa, 2007) o D'autres vies que la mienne (2009) (De vidas ajenas, 2011), en la que las historias marcadas por la enfermedad, el duelo y la desgracia de varios personajes se entrecruzan, y en la que habla del tsunami de 2004, que vivió en primera persona.

Apasionado lector de ciencia ficción, sus siguientes obras son Limónov (2011) (en español, 2012); Le Royaume (2014) (El Reino, 2015), sobre el nacimiento del cristianismo; Je suis vivant et vous êtes morts: Philip K. Dick, 1928-1982 (1993) (Yo estoy vivo y vosotros estáis muertos. Un viaje en la mente de Philip K. Dick, 2007), una biografía novelada de este escritor estadounidense; Il est avantageux d’avoir où aller (2016) (Conviene tener un sitio a donde ir), recopilatorio de textos periodísticos y ensayos; y Yoga (2020), calificada como «lección de tinieblas», «magistral», «luminosa» o «de sinceridad desarmante», entre otras opiniones que corroboran su éxito. Carrère tiene también una destacada actividad cinematográfica y televisiva, ya sea como guionista, adaptador de novelas, realizador o escenógrafo. Ha realizado también documentales y reportajes y algunas de sus novelas han sido adaptadas al cine, como la ya citada El bigote o La Classe de neige, premio especial del jurado en Cannes (1998).

Carrère ha recibido el Premio Kléber Haedens (Francia, 1988), el Grand Prix de la Science-Fiction (Francia, 1987), el Premio Femina (Francia, 1995) y el Premio Renaudot (Francia, 2011) por Limónov. En 2017 la Feria Internacional del Libro de Guadalajara (México) le otorgó el Premio FIL de Literatura en Lenguas Romances y recibió el Premio Villa Kujoyama de Kioto (Japón).

Este premio está destinado a distinguir "la labor de cultivo y perfeccionamiento de la creación literaria en todos sus géneros", tal y como sostienen los estatutos de la Fundación Princesa de Asturias. El año pasado recayó en la poeta, ensayista y profesora de cultura clásica canadiense Anne Carson. En ediciones anteriores ha galardonado la obra de Adam Zagajewski, John Banville, Antonio Muñoz Molina, Leonard Cohen, Paul Auster, Claudio Magris, Arthur Miller, Augusto Monterroso, Günter Grass, Philip Roth, Carlos Fuentes, Camilo José Cela, Mario Vargas Llosa y Juan Rulfo, entre otros.