Vous devez passer la variable dans le lien de suppression. Vous devez obligatoirement passer <?php echo $contact['name']; ?>
valeur du nom dans le champ masqué ou passez cette valeur dans URL
Remplacer
<td class="contact-delete">
<form action='delete.php' method="post">
<input type="hidden" name="name" value="">
<input type="submit" name="submit" value="Delete">
</form>
</td>
Avec
<td class="contact-delete">
<form action='delete.php?name="<?php echo $contact['name']; ?>"' method="post">
<input type="hidden" name="name" value="<?php echo $contact['name']; ?>">
<input type="submit" name="submit" value="Delete">
</form>
</td>