Хоча мати і вітчим його друга, у якого було ще шестеро інших дітей, спочатку не хотіли, але через кілька місяців взяли його до себе. Пізніше Батлер скаже: «Вони прийняли мене до своєї родини. І це було не через баскетбол. Вона [Мішель Ламберт, мати Леслі] була просто дуже люблячою.
В інтерв'ю Батлер заявив, що останніми словами її матері були те, що їй не подобається, як він виглядає і поводиться, і тому він повинен піти з дому. Згодом Джиммі Батлер переїхав до сім’ї Джордана Леслі Мати Леслі Мішель Ламберт усиновив його.
Ти мусиш йти". Він кілька тижнів стрибав між будинками своїх друзів, перш ніж перейти до наступного. Баскетболіст Джиммі Батлер підтримує тісні стосунки зі своїми біологічними батьками незважаючи на всі негаразди, які вони йому заподіяли.
Його батько покинув Батлера та його матір, коли той був немовлям. Що ще гірше, його мати зробила те саме через десять років. Вона вигнала сина зі свого дому, що поклало початок його шляху до успіху в НБА.
Наступні роки Батлер провів на кауч-серфінгу з друзями, аж поки не закінчив старший клас середньої школи, коли зустрів хлопчика на ім’я Джордан Леслі. Вони швидко подружилися, і Джиммі почав проводити все більше часу у своєму будинку, де він познайомився з Мішель Ламберт, матір’ю Джордан Леслі.
Його батько покинув сім'ю, коли Батлер був немовлям. Коли йому було 13 років і він жив у передмісті Х'юстона Томбол, мати вигнала його з дому. Як згадував Батлер в інтерв’ю 2011 року, вона сказала йому: «Мені не подобається, як ти виглядаєш.