В 1997 году у Идриса случилась первая любовь, о которой ни он, ни избранница особенно не распространяются. О Дормове Шерман известно лишь то, что она — либерийская актриса и, по слухам, поклонница спиритизма. Молодые люди познакомились в Лондоне на занятиях по актерскому мастерству. Впоследствии Эльба с грустью вспоминал тот период. С деньгами было настолько туго, что им просто не на что было снять жилье. Три месяца Идрис диджействовал до глубокой ночи, спал в своем стареньком фургоне «шевроле» прямо там, где припарковался, мылся у знакомых... Идрис и Дормова почти не виделись и вскоре расстались.
С визажистом Ханной Ким Норгаард Эльба познакомился тоже в Лондоне — будущий секс-символ делал первые шаги в актерской профессии, и всем, кто его знал, был очевиден несомненный талант этого рослого красивого парня. Благодаря смеси африканских и азиатских кровей Ким обладала яркой экзотической внешностью. Она свободно говорила на трех языках и успела пожить в пяти странах. Поженившись в 1999 году, Ким и Идрис отправились попытать счастья в Нью-Йорке: ему предложили роль в пьесе Шекспира «Троил и Крессида». Позже актер рассказывал, как лондонский агент пылко его отговаривала: мы, дескать, только начали делать из тебя звезду, а в Штатах светит стать лишь очередным «бургером». «Ну и пусть, зато я буду хорошим, сочным бургером», — возражал он.
Однако в Америке Эльба обнаружил, что не тянет даже на тощий сэндвич с ветчиной с уличного лотка. Он репетировал роль и безрезультатно штурмовал кастинги, а жена тем временем делала макияж на съемках сериалов и телепрограмм, на концертах и модных показах — тем и жили.
В 2001 году Ким забеременела. Чтобы содержать семью, Идрис диджействовал, был вышибалой в ночном клубе, даже продавал «травку». И кто знает, куда бы вывела его в итоге кривая, если бы не главный, пожалуй, день в его жизни — четвертое января 2002 года.