Изследователят на големия поет Джефри Асперн пристига във Венеция, за да се срещне с бившата си любовница Джулиана Бордеро, която живее с неомъжената си племенница Тина в голяма къща и не общува с никого. Джулиана има писма на Асперн, които героят на историята иска да вземе, но тя ги крие от всички и осуетява всички опити на биографите и почитателите на Асперн да я опознаят. Знаейки, че живее в бедност, героят решава да наеме няколко стаи от нея. Обсебен от идеята да получи писма, той е готов да се влачи зад племенницата си, за да постигне целта. Старата му приятелка г-жа Перст, с която проверява плановете си, възкликва: „О, първо я виж!“ За да не буди подозрения в Джулиана, героят се появява в къщата като американски пътешественик, който иска да наеме апартамент с градина, а градина във Венеция е рядкост. Тина го приема с плахо учудване, но любезността на героя, неговата упоритост и обещанието да постави градината в ред да я накара да обещае да разговаря с леля си. С потъващо сърце героят чака среща с легендарната Джулиана, която се оказва подозрителна и алчна стара жена, която най-много се интересува от пари. Тя иска от героя прекомерна такса за стаите и той дори се страхува, че като се съгласи на него, той ще се предаде: нито един нормален пътник не би платил толкова много. Но като се увери, че, като говори за пари, Джулиана забравя всичко на света, героят се съгласява. Джулиана гордо демонстрира способността си да води бизнес пред непрактичната и безпомощна Тина. Тя отделя пари на Тина, която я обожава и вярно се грижи за нея. Племенницата съчувства на героя и той се надява да намери помощник в нея. Героят се установява с Джулиана, но след месец и половина живот в къщата той вижда само веднъж Тина - когато носи пари, но никога не вижда Джулиана. Наема градинар и се надява да се сдобие с господарките на къщата, като им изпраща букети с цветя. Веднъж, връщайки се вкъщи в неподходящ час, той среща Тина в градината. Героят се страхува, че я е смутил с външния си вид, но тя се радва да го види и неочаквано се оказва много приказлива. Той се опитва да попита Тина за Асперн и накрая признава, че се занимава с работата му и търси нови материали за него. Тина оставя в ужас. Оттогава тя избягва героя. Но след това един ден той среща Тина в голяма зала и тя го кани да говори с Джулиана. Героят е притеснен, но Тина казва, че не каза нищо на Джулиана за интереса му към Асперн. Джулиана благодари на героя за цветята и той обещава да ги изпрати отсега нататък. Героят винаги се опитва да различи в алчната старица появата на бившата Джулиана - вдъхновителката на Асперн, но вижда само древната старица, която скрива очите си под грозна зелена козирка. Джулиана иска героят да забавлява племенницата си и той с охота се съгласява да се разходи с нея из града. Не е разглезена от вниманието на Тина все по-привързана към героя. Тя честно му казва всичко, което знае за писмата на Асперн, но знае само, че те съществуват. Тя не се съгласява да вземе писмата от Джулиана и да ги даде на героя - защото това би означавало да предаде леля си. Героят се страхува Юлияна да не унищожи писмото. Джулиана предлага на героя да удължи престоя си в къщата им, но той вече е похарчил толкова пари, че вече не може да плаща толкова скъпо за жилище. Тя се съгласява на разумна цена, но героят не иска да плаща шест месеца предварително и обещава да плаща месечно. Сякаш за да дразни героя, Джулиана му показва миниатюрен портрет на Асперн, който уж е на път да продаде. Героят се преструва, че знае, че не знае кой е, но харесва умението на художника. Джулиана гордо казва, че художникът е нейният баща, като по този начин потвърждава представата на героя за нейния произход. Тя казва, че с по-малко от хиляда паунда няма да се раздели с портрет. Героят няма такива пари, в допълнение, той подозира, че в действителност тя няма да продаде портрета.
Няколко часа по-късно Джулиана се разболява и Тина се страхува, че е на път да умре. Героят се опитва да разбере от Тина къде Джулиана пази писмата на Асперн, но в Тина се борят две чувства - съчувствие към героя и преданост към лелята. Тя потърси писма, но не намери и ако го направи, тя самата не знае дали би ги предала на героя: не иска да заблуди Джулиана. Вечерта, виждайки, че вратата към стаята на Джулиана е отворена, героят влиза и посяга към секретаря, където, както му се струва, могат да се съхраняват писма, но в последния момент се оглежда и забелязва Джулиана на прага на спалнята. В този момент той за пръв път вижда необичайно изгарящите й очи. Тя изсъска с ярост: "Зловещият драскач!" - и попада в ръцете на племенница, която е пристигнала навреме. На следващата сутрин героят напуска Венеция и се завръща едва след дванадесет дни. Джулиана почина и тя вече беше погребана. Героят утешава Тина, пита я за планове за бъдещето. Тина е на загуба и все още не е решила нищо. Тя дава на героя портрет на Асперн. Героят пита за писмата му. Научава, че Тина е попречила на Джулиана да ги изгори. Сега Тина ги има, но не смее да ги даде на героя - в края на краищата Джулиана така ревниво ги пазеше от любопитни очи. Тина плахо намеква на героя, че ако той не е непознат, ако е член на семейството, тогава тя може да му даде писма. Героят внезапно осъзнава, че тази тромава стара прислужница го обича и би искала да стане негова съпруга. Той се втурва от къщата и не може да се сети по никакъв начин: оказва се, че той неволно е вдъхновил горката жена с надежди, които не може да изпълни. „Не мога да се оженя за нещастна, абсурдна, стара провинция за куп изтрити писма“, решава той. Но през нощта той осъзнава, че не може да откаже съкровищата, за които е мечтал толкова дълго, а на сутринта Тина му се струва по-млада и красива. Той е готов да се ожени за нея. Но преди да успее да каже на Тина това, Тина му казва, че е изгорила всички букви, лист след лист. Героят потъмнява в очите. Когато се сети, заклинанието се разсейва и той отново вижда пред себе си обикновена, облечена в торба възрастна жена. Героят заминава. Той пише на Тина, че е продал портрета на Асперн и изпраща доста голяма сума, която не би могъл да помогне, ако наистина иска да го продаде. Всъщност той оставя портрета на себе си и когато го погледне, сърцето го боли от мисълта, че е изгубил - разбира се, има предвид писмата на Асперн.