Ο πατέρας του ήταν αριστοκράτης, ενώ η οικογένεια από την πλευρά της μητέρας του περιλάμβανε αρκετές γενεές καλλιτεχνών. Ο Ζιβανσί προερχόταν από σκηνογράφους τόσο της Όπερας του Παρισιού όσο και του παλατιού των Ηλυσίων Πεδίων. Ο παππούς του, Ζιλ Μπαντέν, ήταν καλλιτέχνης που μαθήτευσε κοντά στον ζωγράφο Ζαν Μπατίστ Καμίλ Κορό και έγινε διευθυντής των υψηλού κύρους κατασκευαστών ταπισερί Γκομπελέν και Μποβέ.

Όταν ο Ζιβανσί ήταν μικρό παιδί, ο θάνατος του πατέρα του από γρίπη άλλαξε τις ισορροπίες της ανατροφής του, προσδίδοντάς της περισσότερο καλλιτεχνικό χαρακτήρα. Ο νεαρός Ιμπέρ ανατράφηκε από τη μητέρα του Μπεατρίς, γνωστή ως «Σίσι», και τη γιαγιά του από την πλευρά της μητέρας του. Έζησε μέσα σε ένα μποέμ περιβάλλον, όπου δινόταν μεγάλη αξία στη δημιουργικότητα, και τα ενδιαφέροντά του άνθησαν. Η γυναικεία επιρροή στην ανατροφή του υπήρξε μάλλον καταλυτική για τη μελλοντική του επιτυχία.

Ο παππούς του Ζιβανσί είχε πάθος με τα υλικά και τα υφάσματα και διέθετε συλλογή ρούχων από πολιτισμούς όλου του κόσμου. Η συλλογή του ήταν πηγή έμπνευσης για τον νεαρό σχεδιαστή, που από νωρίς ανακάλυψε την αγάπη του για την μόδα και την τέχνη της ραπτικής.