La entrada de agosto de 1839 es:
"Durante mi visita a Maer, leí un poco, estuve muy indispuesto y escandalosamente ocioso. He sacado al menos esta enseñanza: que NADA es tan intolerable como la ociosidad".
A finales de 1839 nació su hijo mayor, y fue entonces cuando comenzó sus observaciones que a la postre se publicarían en la «Expresión de las emociones». Su libro sobre este tema, y el breve artículo publicado en «Mind» (julio de 1877), muestran cuán de cerca observaba a su hijo.
Parece haberse sorprendido de sus propios sentimientos hacia un bebé pequeño, pues le escribió a Fox (julio de 1840):
«Él [es decir, el bebé] es tan encantador que no puedo fingir ninguna modestia. Reto a cualquiera a que nos halague con respecto a nuestro bebé, pues reto a cualquiera a decir algo en su alabanza de la que no seamos plenamente conscientes... No tenía la menor idea de que hubiera tanto en un bebé de cinco meses. Percibirás por esto que tengo un buen grado de fervor paternal».
Durante estos años trabajó intermitentemente en «Arrecifes de coral», siendo constantemente interrumpido por su mala salud. Así, habla de «recomenzar» el tema en febrero de 1839, y de nuevo en octubre del mismo año, y una vez más en julio de 1841, «tras un intervalo de más de trece meses». Su otro trabajo científico consistió en una contribución a la Sociedad Geológica («Geol. Soc. Proc.» iii. 1842, y «Geol. Soc. Trans.» vi), sobre los bloques erráticos y el «till» de América del Sur, así como en algunos otros artículos menores sobre temas geológicos. También trabajó intensamente en la parte ornitológica de la Zoología del «Beagle», es decir, la nota sobre los hábitos y la distribución de las aves que fueron descritas por Gould.]