我跟另两位同事工作到大概下午4点多的时候，偶尔会一起下楼去买点东西吃。很多时候都是我买，他们纯粹是想下楼走动一下罢了。所以问题就来了，最近主管有时也会跟我们一起，付钱的时候就我一次过付，主管说过后会还我，但是最近几次都忘记还钱了。我不知道他是真忘记还是假忘记，而且每次其实也就大概5、6块钱，我都不好意思讨。请问我应该去讨回来会很吝啬吗？还是就请他算了？