乳胶枕头发黄掉渣可能是由于使用时间过长、清洁不当或者存放环境潮湿等原因造成的。在决定是否继续使用之前，您可以考虑以下几个因素：
卫生问题：发黄掉渣的枕头可能已经积累了细菌和尘螨，这可能对健康造成影响，尤其是对于过敏体质的人来说。
舒适度：如果枕头的质地已经变得不舒适，可能会影响睡眠质量。
结构完整性：如果枕头的结构已经受损，可能无法提供良好的支撑。
清洁可能性：尝试清洁枕头，看是否能恢复其原有的颜色和质地。如果清洁后仍然发黄掉渣，那么可能需要更换。
使用时间：乳胶枕头的使用寿命通常在3-5年左右，如果已经超过这个时间，即使没有明显的问题，也建议更换。
如果枕头的卫生状况不佳，或者已经无法提供舒适的睡眠体验，那么建议更换新的枕头。在选择新枕头时，可以考虑购买质量更好、透气性好、易于清洁的枕头，以延长使用寿命并保持良好的睡眠卫生。