Kakor vsaka vrsta investicije ima svoje pomanjkljivosti tudi naložba v srebro. Med najpogosteje omenjanimi pomanjkljivostmi naložb v srebro je primerno shranjevanje le-tega. Ena unča srebra je relativno cenovno ugodna, še posebej v primerjavi z zlatom. Preden se odločimo za investiranje v srebro se moramo zavedati, da bomo potrebovali kar 60-krat večji sef za shranjevanje srebra kot bi ga potrebovali za shranjevanje približno enake nominalne vrednosti zlata. Iz tega razloga je srebro manj priljubljeno za investicije kot na primer investicije v zlato.

Druga pomanjkljivost, ki mnoge odvrne od investiranja v srebro je njegova obdavčitev, medtem ko je zlato neobdavčeno. Znesek DDV-ja pri nakupu srebra v Sloveniji znaša 20%, podobno pa je je tudi v drugih državah – nekaj procentov več ali manj, odvisno od države do države.

Kot pomanjkljivost investiranja v srebro morda gre tudi omeniti nujnost potrpežljivosti. Cene srebra na svetovnem trgu namreč močno nihajo, medtem ko investiranje v srebro morda lahko prinese večji dobiček na daljši rok, skoraj zagotovo pa ne na krajši rok. Poleg tega investicija v srebro morda ne bo prinesla profita niti na daljši rok, ampak bo le obvarovala vloženi kapital pred inflacijo.