Servais groeide als enige zoon van het gezin Knaven op in Lobith. Zijn vader was aanvankelijk bakker maar later begon hij samen met z'n vrouw een cafetaria en daarna een klein restaurant. Site