Les expressions argotiques employées dans les chansons de Cab Calloway sont parfois difficiles voire impossible à décrypter si l'on n'était pas dans l'époque, Noir ou musicien de jazz ! L'histoire raconte qu'Irving Mills insistait même pour ajouter encore plus d'argot dans les chansons de manière à ce que cela soit toujours plus "exotique" pour les bourgeois blancs qui assistaient aux revues du Cotton Club... Ce n'est pas par hasard si dès 1938 Cab Calloway sortit son Hepsters Dictionary qui recense toutes ces expressions (bon, c'était aussi pour faire la nique à Benny Goodman qui distribuait un petit dictionnaire du swing à son public).
En 1933, le Brooklyn Daily Eagle du 7 avril 1933 se moque des Anglais qui ne comprennent pas les expressions employées par Cab Calloway dans ses films. Par exemple, dans The Big Broadcast (1932), Cab chante "Kicking the Gong Around" Cette expression argotique signifie prendre de la drogue. Ce qu'avait sans doute bien du mal à comprendre le public non initié. Pour preuve, les Britanniques qui sont à plus d'une station de métro de Harlem pensaient que cela parlait de football américain.
Et le journaliste de continuer de se moquer en indiquant que Cab avait enregistré pour son nouveau film International House (1933) le titre "Reefer Man" (le vendeur de joints), ajoutant que les Anglais y verront sans doute une allusion à un quelconque marin !
