十九世紀中葉鴉片走私活動猖獗，兩廣總督於一八六八年下令，在九龍邊界東西兩面及澳門多處地點，設立厘卡徵收鴉片厘金。一八七一年粵海關於九龍城、佛頭洲、長洲和汲水門（馬灣）設置稅廠，一八八七年新設的九龍關接管了這些稅關。英國強租新界後，香港境內的稅關於一八九九年停止運作。
該址於一九六二年發現，根據遺址內由四闕斷碑組成的一通石碑，上刻「德懷交趾國貢賦遙通」和「稅廠值理重修」，故被認為是一稅關遺址。
佛頭洲稅關遺址於一九八三年列為古蹟。
目前沒有路徑通往遺址。基於安全考慮，不建議前往參觀。
