בכל רמה של משחק Color Ball Escape עליכם להסיר לחלוטין את כל הכדורים הצבעוניים ממגרש המשחקים. לשם כך צריך להשתמש בחורים בצורות שונות, אבל כדי שהכדור ייפול שם, הצבעים של החור והכדור חייבים להיות זהים. הכדורים נשארים ללא תנועה, אך ניתן להזיז בחופשיות את החורים למקומות פנויים ולהביא אותם אל הכדורים. כך שהם נכשלים ונעלמים ב-Color Ball Escape. כך המגרש יפונה לחלוטין מכדורים, ואז החורים ייעלמו.
