Pieter Panné, Großvater