Постепенно Джо самоустранился от всякой работы на ферме. Мать объясняла, что у Джо мысли витают в облаках, будто это бог весть какое редкое достоинство. Когда Джо осрамился во всех доступных фермеру видах деятельности, Самюэл с отчаяния поручил ему пасти овец, стадо из шестидесяти голов. Это был самый несложный труд, классический образец работы, не требующей никакого мастерства. Единственное, что требовалось, это быть рядом с овцами. Но Джо потерял стадо — потерял все шестьдесят овец и не мог отыскать их на дне сухой лощины, где они, сгрудившись в кучу, укрывались от солнца. Как гласит предание, Самюэл созвал всю семью, всех своих сыновей и дочерей, и взял с них клятву, что после его смерти они будут заботиться о Джо, а иначе тот непременно погибнет от голода.