В началото на есента на 1830 г. любознателен учен (самият Мериме предполага в него) наема водач в Кордоба и тръгва да търси древната Мунда, където се провежда последната победна испанска битка на Юлий Цезар. Обедната жега го кара да търси убежище в сенчесто дефиле. Но мястото при потока вече е заето. Към разказвача предупредително се издига хитър и силен човек с мрачен горд поглед и руса коса. Пътешественикът го обезоръжава с предложение да сподели с него пура и храна, след което те продължават по пътя, въпреки красноречивите знаци на водача. Те остават една нощ в отдалечен отдушник. Придружител слага мускетон наблизо и спи с праведните, но ученият не спи. Той излиза от къщата и вижда пълзящ водач, който е на път да предупреди Lancer поста, че разбойникът Жозе Наваро е спрял в отдушника, за залавянето на който са обещани двеста дуката. Пътникът предупреждава сателита за опасността. Сега те са обвързани с връзки на приятелство.
Ученият продължава търсенето си в библиотеката на доминиканския манастир в Кордоба. След залез обикновено обикаля край брега на Гуадалквивир. Една вечер на насипа до него се приближава жена, облечена като гризли и с китка жасмин в косата. Тя е къса, млада, добре изградена и има огромни полегати очи. Ученият е поразен от нейната странна, дива красота и най-вече външния вид, чувствен и див. Лекува я с цигари, установява, че се казва Кармен, че е циганка и знае как да гадае. Той иска разрешение да я заведе у дома и да му покаже изкуството си. Но гаданието беше прекъснато в самото начало - вратата се отвори и човек, увит в наметало, влезе в стаята с ругатни. Ученият разпознава в него своя приятел Хосе. След яростна схватка с Кармен на непознат език, Хосе извежда госта от къщата и посочва пътя към хотела. Ученият открива, че междувременно е загубил златния часовник с бой, който Кармен толкова харесва. Ужасен и засрамен учен напуска града. След няколко месеца той отново се озовава в Кордоба и открива, че разбойникът Хосе Наваро е арестуван и чака екзекуция в затвора. Любопитството на изследователя на местните обичаи подтиква учения да посети разбойника и да изслуша изповедта му.
Хосе Лисарабенгоа му казва, че е баски, роден е в Елисондо и принадлежи на старо благородно семейство. След кървава битка той бяга от родния си край, влиза в Драгунския полк, служи усърдно и става бригадир. Но един ден, за негово нещастие, той е назначен да охранява в тютюневата фабрика в Севиля. Онзи петък той за пръв път вижда Кармен - неговата любов, мъки и погибел. Заедно с други момичета тя отива на работа. Тя има цвете акация в устата си и ходи с ханш, като млада кордобийска кобила. Два часа по-късно се обажда облекло, за да спре кървавата кавга във фабриката. Хосе трябва да вземе в затвора подбудителката на кавгата Кармен, която осакати нож лицето на един от работниците. По пътя тя разказва трогателна история на Жозе, че и тя е от страната на баските, само в Севиля, че е отровена като непозната и затова взела ножа. Тя лъже, сякаш е излъгала целия си живот, но Хосе й вярва и й помага да избяга. За това той е понижен и изпратен в затвора за един месец. Там той получава подарък от Кармен - хляб с пила, златна монета и две пиастри. Но Хосе не иска да бяга - военната чест го задържа. Сега той служи като обикновен войник. Един ден той стои на стража близо до къщата на полковника си. Пристига екипаж с цигани, поканени да забавляват гостите. Сред тях е и Кармен. Тя урежда среща за Хосе, те прекарват заедно безразсъдно щастлив ден и нощ. На раздяла Кармен казва: „Ние сме равномерни. Довиждане ... Знаеш ли, синко, мисля, че се влюбих малко в теб. Но <...> вълкът не може да се разбира с кучето ", Хосе напразно се опитва да намери Кармен. Тя се появява само когато е необходимо да поведе контрабандисти през пролуката в градската стена, която защитава Хосе. И така, за обещанието на Кармен да му даде нощта, той нарушава военната клетва. След това убива лейтенанта, когото Кармен довежда при себе си. Той става контрабандист. Известно време той беше почти щастлив, тъй като Кармен понякога беше привързана към него - до деня, в който Гарсия Кривой, отвратителен изрод, се появи в четата на контрабандистите. Това е съпругът на Кармен, когото най-накрая успява да спаси от затвора. Хосе и неговите „съратници“ контрабандират, грабят и понякога убиват пътници. Кармен служи като тяхна връзка и оръжейник. Редките срещи носят кратко щастие и непоносима болка. Веднъж Кармен намеква на Хосе, че по време на следващия „случай“ би могло да бъде заменен крив съпруг под вражески куршуми. Хосе предпочита да убие противник в честна битка и се превръща в ром (съпруг на циганина) Кармен, но тя все повече се тежи от обсесивната му любов. Той я кани да промени живота си, да замине за Новия свят. Тя го кара да се смее: „Ние не сме създадени да засаждаме зеле“. След известно време Хосе научава, че Кармен е страстна към матадора Лукас. Хосе е яростно ревнив и отново предлага на Кармен да замине за Америка. Тя отговаря, че е добре в Испания, но така или иначе няма да живее с него. Хосе отвежда Кармен в уединено дефиле и отново и отново пита дали тя ще го последва. „Не мога да те обичам. Не искам да живея с теб - отвръща Кармен и откъсва пръстена, който дари. Разгневен, Хосе набива нож в нея два пъти. Той я погребва в гората - тя винаги е искала да намери вечен мир в гората - и поставя пръстен и малък кръст в гроба.
В четвъртата и последна глава на кратката история разказвачът безкористно споделя с читателите своите наблюдения върху обичаите и езика на испанските цигани. Към края той цитира една значителна циганска поговорка: „Наредено е движение към плътно затворената уста на муха“.