Nid un ymffrostiai yn ei dlodi oedd Ap Fychan. Y mae ymffrost ambell un yn ei dlodi mor annerbyniol ag ymffrost un pen ysgafn yn ei gyfoeth. Ond adroddiad diaddurn, diymffrost o dlodi, adroddiad dyn ddagrau o lygaid y caletaf, ydyw yr hanes rhydd Ap Fychan wrth ddarlunio tlodi ei gartref ef. Dywed haneswyr am ogoniant a bri buddugoliaeth y blynyddoedd hynny; yr oedd mawredd yn ymwisgo, fe feddylient, ag anrhydedd tragwyddol. Ond yn nhlodi'r bwthyn wrth dalcen y Tŷ Coch yr oedd dyn gonest yn gorfod edrych ar ei wraig a'i blant heb angenrheidiau bywyd, oherwydd uchelgais pechadurus y milwr a'r uchelwr.
Ni ddaeth tlodi ei hun, daeth clefyd trwm i Dan y Castell. Daeth mam y penteulu yno, a bu farw dan y clefyd. Daeth chwaer Dr Ellis Evans i'w gwylio y nos tra'n gweithio yn ei lle y dydd. Gorfod troi at y plwy am gymorth. Dyma ddernyn o hanes yr amser hwnnw, -
- "Yr oedd gan fy rhieni y pryd hwnnw wely pluf da; ond gan ein bod ar y pryd yn cael cymorth plwyfol, daeth overseer y plwyf, a'i fab gydag ef, i'n tŷ ni, a thynasant y gwely oddi tan fy nhad, yr hwn oedd i olwg ddynol ar y pryd bron a marw, a'i synhwyrau'n dyrysu'n fawr, gan rym tanllyd y clefyd, a gwerthasant y gwely i ddyn o'r ardal oedd ar gychwyn i'r America, a gosodwyd fy nhad i orwedd ar wellt."
Cyn hir daeth iechyd, a dechreuodd y plant ennill tipyn. Ond gadewch i ni groesi, dan gysgod craig y castell, drwy goed mafon duon a heibio cerrig enfawr sydd wedi treiglo o'r graig