Une nuit, alors qu'il est de faction dans un entrepôt de Séville, Carmen vient de nouveau à lui. Elle veut qu'il laisse passer une bande de contrebandiers. Il ne peut résister au charme de la gitane, et il la laisse faire en échange d'une rencontre avec elle le lendemain. Ils se retrouvent donc, mais Carmen est en colère. Elle estime qu'il n'est pas normal de lui faire du chantage. Ils se disputent mais elle revient vers lui peu après, et lui donne rendez-vous de nouveau. Cette fois-ci elle ne vient pas et Don José apprend qu'elle est parti pour affaire. Il n'y croit pas. Quelques jours plus tard, il la retrouve, alors qu'elle est accompagnée d'un lieutenant du même régiment que Don José. Cela met très en colère ce dernier, et lorsque le lieutenant lui demande de partir, ils en viennent aux armes. Le jeune homme tue l'officier et s'enfuit, blessé.
Après l'avoir soigné, la gitane lui propose de devenir contrebandier. Il quitte alors Séville et rejoint une troupe de contrebandiers, menée par le Dancaïre. Il mène une vie heureuse, jusqu'au jour où il apprend que Carmen est mariée. Son mari, nommé "Garçia le Borgne", vient de s'évader de prison. A partir de ce jour, la vie de Don José devient un enfer. Il ne supporte pas de voir sa bien-aimée au bras de Garçia. Lors d’une piraterie, le gang est poursuivit par des lanciers. Ces derniers blessent un brigand que le Dancaïre achève pour faciliter leur fuite.
Un jour, elle doit quitter la troupe pour aller à Gibraltar. Après plusieurs semaines, Don José est désigné pour aller prendre de ses nouvelles. Il se fait passer pour un marchand d'oranges, et au bout de quelques jours de recherches, il la retrouve. La jeune femme se trouve dans la demeure d'un riche anglais. Elle est seule et elle lui explique le plan qu'elle a mis au point : elle veut que la petite troupe tende un piège au riche anglais. Il accepte, mais ne voit pas les choses de cette façon. De retour auprès du Dancaïre et de Garçia, il provoque ce dernier et le tue. Malgré cela, les deux hommes restants décident de tendre quand même le piège à l'Anglais. L'opération est menée à bien, et la gitane accepte Don José comme amant, en dépit de la mort de Garçia.
Durant quelques temps, le contrebandier mène la belle vie, d'autant plus que la gitane s'est assagie. Mais cela ne dure pas. Une fois de plus, elle jette son dévolu sur un négociant très riche. Cela déplaît à Don José, et ils ont une violente dispute. Le Dancaïre les réconcilie, mais peu de temps après, la troupe est surprise par les autorités et elle est décimée. Le Dancaïre est tué. Carmen et Don José s'enfuient de peu, mais ce dernier est grièvement blessé. La gitane doit le soigner durant plus de quinze jours.
Une fois rétabli, il avoue à sa compagne son envie de quitter l'Espagne pour l'Amérique. Elle lui rit au nez, et il ne répond pas. Il reprend peu de temps après ses occupations proscrites. Mais sa bien-aimée le trompe avec un picador nommé Lucas. Lorsqu'il s'en aperçoit, il lui demande de ne plus le voir, et ils ont de nouveau une dispute. Heureusement le picador part pour Malaga, alors que les deux compagnons s'affairent à une importante expédition. C'est durant cette expédition qu'ils rencontrent Mérimée. Carmen et Don José se fâchent une fois de plus à propos de Mérimée, et il frappe Carmen. Il s'excuse mais elle boude. Etrangement, elle revient vers lui trois jours après, comme si rien ne c'était passé. Elle lui déclare qu'elle veut aller à Cordoue pour assister à une fête. Il ne s'y oppose pas, mais lorsqu'il apprend que Lucas est présent à cette fête, il devient fou de rage. Il part pour Cordoue et y retrouve la gitane. Il la menace, il l’implore et la supplie de l’aimer, il lui dit que si elle ne le suit pas, il la tuerait, mais rien n'y fait. Alors Don José, comme Carmen l’avait pressenti, tue la gitane en la poignardant. Après l’avoir enterré avec le poignard, il se rend aux autorités, estimant que sans Carmen auprès de lui, sa vie ne vaut plus la peine d’être vécue.