未经法定程序，私自清除占用房屋且不搬走的人是不可以的。首先，房屋的占有和使用受法律保护。若存在房屋占用纠纷，应通过合法途径解决。例如，可依据租赁合同等相关约定，协商不成可通过民事诉讼等法律程序，由法院依法判定房屋的归属及相关权益。私自清除可能涉嫌侵权，侵犯他人的居住权等合法权益，引发法律责任。其次，正确的做法是先与占用者进行沟通协商，明确其占用的不合理性及自身的合法权益，要求其限期搬离。若协商无果，应及时向相关部门如公安机关、社区等反映情况，寻求协助。必要时，可依据法律规定向法院提起诉讼，通过司法途径强制要求占用者搬离，以保障自身对房屋的合法使用权益。总之，任何行为都应在法律框架内进行，避免因私自行动而产生法律风险。

以上是律师的法律建议，如有疑问，欢迎进一步咨询。