Kad zēnam bija divi gadi, viņa tēvs nomira dzimtajā pilsētā. Viņš turpināja nabadzībā dzīvot kopā ar māti Yan Zhengzai un pusmāsām ārpus Lu valsts galvaspilsētas . 16 gadu vecumā Konfūcijs zaudēja arī māti, kura nebija pat 40 gadus veca. Viņš nolēma sērot trīs gadus , kas atspoguļo pirmos gadus cilvēka dzīvē, kad viņš ir pilnīgi atkarīgs no vecākiem, kad izpaužas mīlestība. Tika uzskatīts, ka sērošana atspoguļo bijušo attiecību nozīmīgumu ar mirušo. Šī sērošana ietvēra vienkārša apģērba vilkšanu, nemanāmi nosedzot matus. Bija jāievēro ierobežota diēta, ēdot divas reizes dienā. Jādzīvo sēru būdā, kas atrodas blakus mājai un noteiktos laikos ir jāsēro par aizgājēju. Nav ziņu, vai Konfūcijs ievēroja šos visus sarežģītos rituālus pēc mātes nāves, jo jau pēc diviem gadiem apprecējās. Pastāv viedoklis, ka pēc Konfūcija nāves viņa sekotāji sēroja trīs gadus. Tas simbolizēja dziļu apņemšanos ievērot skolotāja mācības.
Jaunībā Konfūcijs atšķīrās no saviem vienaudžiem ar ķīniešiem neraksturīgi lielu auguma garumu -1.81m un neparasto galvas formu. Gandrīz ikvienam Senās Ķīnas lielajam domātājam ir piemitusi kāda raksturīga pazīme, kāds fizisks trūkums, kas skaidri norādīja uz viņa unikalitāti un neparastumu, Konfūcijam tā bija īpatnējās formas galva. Kad Konfūcijam bija 19 gadi, viņš apprecējās ar Qiguan. Pēc gada viņiem piedzima bērns- dēls Kong Li. Citos avotos minēts, ka, iespējams, laulātajiem esot bijušas vēl divas meitas, no kurām viena esot mirusi agrā bērnībā. Šajā laikā Konfūcijs tika uzskatīts par erudītu, sabiedrībā pazīstamu cilvēku ar labu reputāciju.
Kādā sarunā Konfūcijs par sevi ir teicis, ka jaunībā esot bijis nabadzīgs, tādēļ arī apguvis nicināmus amatus. Jaunībā Konfūcijs strādāja par svērēju, vēlāk veica saimniecības rēķinus, veica lopu uzskaiti . Ziņas par Konfūcija izglītību ir maz, zināšanas viņš ieguva pašmācības ceļā. Tradicionāli tiek uzskatīts, ka viņš centīgi mācījās spēlēt ķīniešu septiņu stīgu mūzikas instrumentu, kas pēc izskata ir līdzīgs Eiropā pazīstamam mandolīnām, apgūstot mūziku pie skolotāja Chang Hong un Xiang , bet Xu Yuanxiang grāmatā “Confucious – A Philosopher for the ages” raksta, ka Konfūcijs bija dedzīgs trompetists. Kad Konfūcijam bija 22 gadi, viņš sāka pasniegt ķīniešu valodu, literatūru, politiskās zinības un morāli. Laika gaitā kļuva par tā brīža ievērojamāko pasniedzēju Ķīnas teritorijā.
Konfūcija laikā, lai kļūtu par izglītotu cilvēku, bija jāapgūst sešas mākslas – pildīt rituālus, šaut ar loku, vadīt kara ratus, muzicēt, lasīt, saprast matemātiku-, kas bija kā pamats Senās Ķīnas izglītībā. No tām karamākslas, rituāli un mūzika bija vissvarīgākās. Liecības vēsta, ka Konfūcijs apguvis abas kara mākslas. Vēlāk šīs sešas mākslas kļuva par daļu no Konfūcija filozofijas, kuras praktizēja arī 72 Konfūcija mācekļi. Tomēr Konfūcija lielākā aizraušanās bija rituālu māksla, precīzāk seno laiku rituālu sistēma. Jau agrā bērnībā parādījās Konfūcija interese par rituāliem. Pastāv arī leģenda, ka Konfūcijs kā bērns spēlējās ar šķīvjiem un bļodām, tos kārtojot. Tā bija ceremoniju atdarināšana, ko veica pieaugušie, izmantodami rituālos šādus priekšmetus, lai pielūgtu debesis un viņu senčus. Viņa aizraušanos raksturo arī citāts no Konfūcija “Apkopotajām runām” :”Bez rituāla neskaties. Bez rituāla neklausies. Bez rituāla nerunā. Bez rituāla neklausies.” Tas atklāj, ka ir nepieciešamas zināšanas, morāle un labas manieres, lai nodrošinātu kārtību.