Aan de basis van de kunstverzameling van het museum ligt de schenking van Alexander Verhuell. In 1897 vermaakte hij zijn gehele bezit aan de stad Arnhem. Zijn verzameling bestond uit schilderijen, tekeningen, prenten en kunstnijverheidsproducten. Deze collectie werd bij de kunstverzameling van de gemeente gevoegd en vervolgens verder uitgebouwd. Sinds de jaren twintig concentreert het museum zich op moderne en hedendaagse kunst. In de jaren vijftig werden gericht werken van magisch realisten aangekocht. Daarnaast werd het verzamelgebied uitgebreid met sieraden, glas en keramiek. In de jaren negentig was de verzameling zozeer vertakt dat opsplitsing van de collectie noodzakelijk werd. Een deel van de collectie wordt tegenwoordig tentoongesteld in het Historisch Museum dat in het centrum van de stad gelegen is. De belangrijkste aandachtsgebieden van het museum vormen het realisme en de nieuwe zakelijkheid. De verzameling telt enkele topwerken van magisch realisten, zoals bijvoorbeeld „Vrouwen in de straat“ van Pyke Koch. Uniek is ook de collectie sieraden met stukken van Gijs Bakker en Emmy van Leersum.