Действието се развива в началото на XX век (в годините, непосредствено преди избухването на Първата световна война) в Швейцария, в санаториум за туберкулоза, разположен близо до Давос. Името на романа предизвиква асоциации с планината Герзелберг (Греховна или Вълшебна планина), където според легендата минезингерът Танхейзер прекарва седем години в плен с богинята Венера.
Героят на романа, младият германец на име Ханс Касторп, идва от Хамбург в санаториума в Берггоф, за да посети своя братовчед Йоахим Зимсен, който се подлага на лечение там. Ханс Касторп възнамерява да прекара не повече от три седмици в санаториума, но до края на планирания период се чувства неразположен, придружен от повишаване на температурата. В резултат на медицински преглед той показва признаци на туберкулоза и по настояване на главния лекар Бехренс Ханс Касторп остава в санаториума за по-дълъг период. Още от момента на пристигането Ханс Касторп открива, че времето в планината изобщо не протича като на равнината и затова е почти невъзможно да се определи колко дни, седмици, месеци, години са минали между тези или други описани събития и колко дълго обхваща целия роман. В самия край на романа обаче се казва, че Ханс Касторп е прекарал общо седем години в санаториума, но дори тази цифра може да се разглежда като определена художествена конвенция.
Всъщност сюжетът и събитията, които се случват в романа, абсолютно не са важни за разбирането на неговия смисъл. Те са просто извинение за противопоставяне на различните житейски позиции на героите и дават възможност на автора да говори устните си по много въпроси, които го вълнуват: живот, смърт и любов, болести и здраве, напредък и консерватизъм, съдбата на човешката цивилизация на прага на 20 век. В романа минават няколко десетки герои - главно пациенти, лекари и медицински персонал: някой се възстановява и напуска Бергхоф, някой умира, но на тяхно място постоянно идват нови.
Сред тези, с които Ханс Касторп се среща вече в първите дни от престоя си в санаториума, специално място заема г-н Лодовико Сетембрини - потомък на Карбонарите, масон, хуманист, твърд привърженик на прогреса. В същото време, като истински италианец, той страстно ненавижда Австро-Унгария. Неговите необичайни, понякога парадоксални идеи, изразени в ярка, често каустична форма, оказват огромно влияние върху умовете на млад мъж, който започва да почита г-н Сетембрини като свой наставник.
Важна роля в историята на живота на Ханс Касторп изигра любовта му към руската пациентка от санаториума мадам Клавдия Шоша - любовта, с която той, поради строгото си възпитание в калвинистко семейство, първоначално се съпротивлява с всякакви средства. Минават много месеци, преди Ханс Касторп да разговаря с любимата си - това се случва по време на карнавала в навечерието на Великия пост и заминаването на Клавдий от санаториума.
През времето, прекарано в санаториума, Ханс Касторп беше сериозно увлечен от много философски и природонаучни идеи. Той посещава лекции по психоанализа, той сериозно изучава медицинска литература, интересува се от въпроси на живота и смъртта, изучава съвременна музика, използвайки за своите цели най-новото постижение на технологията - запис и пр. По същество той вече не мисли за живота си в равнината, т.е. той забравя, че там ще намери работа, на практика скъсва връзките си с малкото си роднини и започва да разглежда живота в санаториума като единствената възможна форма на съществуване.
С братовчед му Йоахим ситуацията е точно обратната. Той дълго и упорито се подготвяше за военна кариера и затова счита всеки допълнителен месец, прекаран в планината, за нещастна пречка за осъществяването на мечтата на живота му. В определен момент той не издържа и, без да обръща внимание на предупрежденията на лекарите, напуска санаториума, постъпва на военна служба и получава офицерско звание. Въпреки това минава много малко време и болестта му се влошава, така че той е принуден да се върне в планината, но този път лечението не му помага и той скоро умира.
Малко преди това нов герой попада в кръга на познатите на Ханс Касторп - йезуит Нафта, вечният и неизменен противник на господин Сетембрини. Нафта идеализира средновековното минало на Европа, осъжда самата концепция за прогрес и цялата съвременна буржоазна цивилизация, въплътена в тази концепция. Ханс Касторп се озовава в някакво объркване - слушайки дългите спорове между Сетембрини и Нафта, той се съгласява с едното или другото, след което намира противоречия и в единия, и в другия, така че вече не знае на коя страна е истината. Влиянието на Сетембрини върху Ханс Касторп обаче е толкова голямо, а вроденото недоверие към йезуитите е толкова високо, че той напълно застава на страната на първия.
Междувременно мадам Шоша се върна за известно време в санаториума, но не сама, а придружена от новия си приятел - богатия холандец Пеперкорн. Почти всички обитатели на санаториума в Бергхоф попадат под магнитното влияние на тази безусловно силна, загадъчна, макар и донякъде обвързана с език личност, а Ханс Касторп чувства някаква роднинска връзка с него, защото те са обединени от любов към една и съща жена. И този живот завършва трагично. След като неизлечимо болният Пеперкорн се разхожда до водопада, забавлява другарите си по всякакъв начин, вечер той и Ханс Касторп пият до Брудершафт и преминават към „ти“, въпреки разликата във възрастта, а през нощта Пеперкорн взема отрова и умира, скоро Мадам Шоша напуска санаториума - да този път, очевидно, завинаги.
От определен момент в душите на жителите на санаториум „Бергхоф” започва да се усеща някаква загриженост. Това съвпада с пристигането на нов пациент - датската марка Ели, която има някои свръхестествени способности, по-специално умее да чете мисли на разстояние и да предизвиква духове. Пациентите са пристрастени към спиритизма, организират сесии, в които участва Ханс Касторп, въпреки каустичните подигравки и предупреждения от наставника му Сетембрини. Именно след подобни сесии и може би в резултат на предишното им премерено време в санаториума е нарушено. Пациентите се карат, от време на време възникват конфликти по най-незначителния повод.
По време на един от споровете с Нафта, Сеттембрини твърди, че той корумпира младежта с идеите си. Разправията води до взаимни обиди и след това до дуел. Сетембрини отказва да стреля и тогава Нафта изстрелва куршум в главата.
И тогава гръмът на световна война удари. Жителите на санаториума започват да се прибират вкъщи. Ханс Касторп също заминава за равнината, раздяла от г-н Сетембрини, за да се бие там, където е близо по кръв, въпреки че самият г-н Сетембрини подкрепя съвсем друга страна в тази война.
В последната сцена Ханс Касторп е изобразен как бяга, пълзи, пада, заедно със същите млади мъже в войнишки палта, които попаднаха в месомелачката от Втората световна война. Авторът умишлено не казва нищо за окончателната съдба на своя герой - историята за него приключи, а авторът не се интересуваше от живота си сам, а само като фон за историята. Както обаче беше отбелязано в последния параграф, Ханс Касторп има малка надежда за оцеляване.