Sie können wörtliche Anführungszeichen verwenden:
stmt := q'[insert into MY_TBL (Col) values('ER0002')]';
Dokumentation für Literale finden Sie hier.
Alternativ können Sie zwei Anführungszeichen verwenden, um ein einfaches Anführungszeichen zu kennzeichnen:
stmt := 'insert into MY_TBL (Col) values(''ER0002'')';
Der wörtliche Zitatmechanismus mit der Q-Syntax ist flexibler und lesbarer, IMO.