“唯上智与下愚不移”的意思是孔子说：“只有上等的智者和下等的愚人是不可改变的。”
从这句话的本意来看，孔子认为人的性情大都是可以改变的，只有上等的聪明人与下等的愚笨的人才是不可改变的。孔子历来认为，上智与下愚的不可改变，并且主张人有上、中、下的区别。子曰:“唯上智与下愚不移”，是不以贫富、贵贱的区别为前提的，是对没有所谓的阶级区别的人性的准确定性。
孔子认为人们改变是变成聪明的人。最聪明的人不需要改变，因为他认为他已经是聪明的人了。最愚笨的人也不需要改变，因为他认为他自己愚笨，改变不了。只有认为自己不聪明，但又认为自己能改变，而且坚信能改变的人，才可以改变。
这句话出自《论语·阳货》第十九，上智下愚是指孔子根据人的智力发展水平对于智力类型的划分。《论语·雍也》也有类似的句子：“中人以上，可以语上也；中人以下，不可以语上也。”人的智力水平可以分为“上智”、“中人”与“下愚”三种。
而在“唯上智下愚不移”之前《论语·阳货》第十九还有一句，连起来是“性相近也，习相远也。唯上知（智）与下愚不移。”这两句话是密切相关的。“性相近，习相远”是对我们一般人，或者借用孔子在《雍也》篇里的词语，叫做“中人”而言的。
所有的中人天赋都差不多，只是因为后天的放养习染不同而相差很远了。但“上知”与“下愚”的人却是无法改变的。因为“上知”就是“生而知之者，上也”，一类的人，是天才，生来就有某种天赋才能，而不是靠后天教养才取得的。而“下愚”则是“困而不学，民斯为下矣”的人。即便在生活与工作中遇到困难了都还不愿意学习 ，这样的“下愚”，你有什么办法去改变他呢？
所以，中人是性相近，习相远。而唯有上智和下愚的人是不可改变的。
