Você colhe aquilo que quer

Quando uso a expressão "colhe aquilo que planta" , praticamente toda vez, não tenho relações diretas com a pessoa. Existem pessoas que dizem isso para outras pessoas como uma maneira de demonstrar uma decepção alheia e eu penso.... O que você plantou pra colher tal decepção é mais importante do que o que a pessoa plantou... Ou apenas, colhe-se aquilo que deseja?