Vom Kohlmarkt der vorletzten Jahrhundertwende ist baulich fast nichts mehr übrig – die meisten Häuser wurden im Zuge der Entwicklung zur Prachtstraße abgerissen und neu errichtet. Wenn überhaupt irgendwo noch die älteste Bausubstanz der Straße steckt, dann am ehesten auf Nummer 4, direkt neben dem einstigen Kaufhaus Pollack.
Genutzt wurde das Haus zuletzt sehr prosaisch: Nach dem Zweiten Weltkrieg zog hier das Patentamt ein, bis es in den frühen 2000er-Jahren in die Dresdner Straße übersiedelte – zur wenig verhohlenen Freude mancher Mitarbeiter, die sich fortan eine bessere Adresse als die teuerste Einkaufsstraße Wiens leisten konnten, ohne sie selbst finanzieren zu müssen. Heute ist hier ein Modeatelier zu finden.
Aus dem Volksmund: Ob Kohlmarkt 4 tatsächlich das älteste erhaltene Haus der Straße ist, weiß man nicht wirklich – es ist eher eine Verlegenheitsvermutung, weil von allen anderen Kandidaten (etwa dem alten Ataria-Haus) längst nichts mehr steht.