Malgré une croisade commune en 1190-1191, les hostilités ne cessent pas entre les rois d’Angleterre et de France. Rentré seul, Philippe Auguste en profite pour avancer en territoire normand mais est stoppé à la bataille de Fréteval.

Par le traité de Gaillon signé en 1196, le roi anglais cède au roi français les places fortes de Vernon et de Gaillon. Mention est faite dans le texte que le site des Andelys, propriété des évêques de Rouen, ne peut être fortifié. 
Mais c'est bien ce site symbolique que choisit Richard Ier pour défendre la Vallée de la Seine malgré les faiblesses qu'il présente du fait de son positionnement à mi-hauteur de la colline.
Décidée en 1196, débutée l'année suivante, sa construction est achevée en 1198. Le siècle se termine par la mort de Richard Ier l’année suivante au siège de Châlus, ce qui réveille les appétits de reconquête du roi français. En 1203, il entreprend un blocus qui est couronné de succès et le château se rend le 6 mars 1204. Après plusieurs autres occupations tant anglaises que françaises, le château perd toute affectation.
Aujourd'hui, il s'agit de l'un des tout premiers sites de l'Eure tant il marque profondément les imaginaires par ses liens avec l'histoire de la Normandie mais aussi par le caractère romantique du site tout entier.