Dans un contexte html, <?php , <something , etc, est l'ouverture d'une balise html. Modifier < avec son entité html < pour éviter que cela ne se produise..
<?php
Mieux encore, utilisez htmlspecialchars :
<?php echo htmlspecialchars('<?php echo "test"; ?>'); ?>