Extrêmement possessive, elle priva Edward de tout contact avec les autres enfants de son âge. Le jeune garçon lui vouait en retour un véritable culte. Son frère aîné Henry (1901-1944), ne partageait pas cette adoration et menait une vie plus normale. Toute sa vie, il reprocha à Edward la fascination malsaine et l'amour fusionnel qu'il vouait à sa mère.

Après la mort de leur père, le 1er avril 1940, d'une crise cardiaque, ils occupèrent plusieurs emplois différents pour aider leur mère. Edward Gein tenta de prendre les bonnes habitudes de travail de son frère et ils furent tous les deux considérés comme de bons ouvriers honnêtes et fiables.

Ils travaillaient comme "hommes à tout faire" et Edward fit souvent du baby-sitting pour les voisins. Il appréciait ce travail car il entrait plus facilement en contact avec les enfants qu'avec les adultes. Edward était socialement et émotionnellement retardé. 

L'inquiétude de Henry concernant l'attachement malsain que vouait son frère pour leur mère s’était vivement accentué après la mort de leur père. En de maintes occasions, Henry avait critiqué Augusta et la relation intime existant entre Edward et cette dernière. Les commentaires désobligeants avait pour effet de vexer Ed Gein. Pour lui, Augusta était une déesse et il était mécontent que son frère n’ait pas la même opinion que lui. C'est peut-être cette divergence d'opinion qui finira par influencer la fin tragique de Henry.