有人靠着小区的围墙修建房屋算违建吗？

如果是拆旧建新，进行翻新维修的不属于违建。
如果是依法拆除，重新恢复就需要办理建设工程规划许可证。
申请办理建设工程规划许可证，应当提交使用土地的有关证明文件、建设工程设计方案等材料。需要建设单位编制修建性详细规划的建设项目，还应当提交修建性详细规划。

《中华人民共和国城乡规划法》
第四十条　在城市、镇规划区内进行建筑物、构筑物、道路、管线和其他工程建设的，建设单位或者个人应当向城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府申请办理建设工程规划许可证。
申请办理建设工程规划许可证，应当提交使用土地的有关证明文件、建设工程设计方案等材料。需要建设单位编制修建性详细规划的建设项目，还应当提交修建性详细规划。对符合控制性详细规划和规划条件的，由城市、县人民政府城乡规划主管部门或者省、自治区、直辖市人民政府确定的镇人民政府核发建设工程规划许可证。

需要核实对方是否有许可。