十九世纪中叶鸦片走私活动猖獗，两广总督于一八六八年下令，在九龙边界东西两面及澳门多处地点，设立厘卡征收鸦片厘金。一八七一年粤海关于九龙城、佛头洲、长洲和汲水门（马湾）设置税厂，一八八七年新设的九龙关接管了这些税关。英国强租新界后，香港境内的税关于一八九九年停止运作。
该址于一九六二年发现，根据遗址内由四阙断碑组成的一通石碑，上刻「德怀交趾国贡赋遥通」和「税厂值理重修」，故被认为是一税关遗址。
佛头洲税关遗址于一九八三年列为古迹。
目前没有路径通往遗址。基于安全考虑，不建议前往参观。
