Wie kann ich in oracle11g einen Typ definieren, der auf eine Sammlung dieses Typs verweist?

Oracle wird Ihre Definition nicht kompilieren, da der Typ Item ist noch nicht kompiliert. Warum probierst du es nicht mal aus:

Kompilieren Sie dies:

CREATE OR REPLACE TYPE Item;

CREATE OR REPLACE TYPE items_table IS TABLE OF REF item;

und versuchen Sie dann:

CREATE OR REPLACE TYPE item AS OBJECT (
   id number,
   subitems items_table
)