Кобейн написал «Polly» под впечатлением от инцидента произошедшего в Такоме, который был связан с похищением и изнасилованием 14-летней девочки в августе 1987 года. Маньяк Джеральд Артур Френд похитил девушку, когда она возвращалась с рок-концерта, после чего держал её в своём передвижном доме, регулярно насилуя и пытая с помощью паяльной лампы.