[silin]

такой вариант:
в копии битмапа округляем RGB-компонеты всех пикселей до нужной точности
floodFill'ом заливаем из заданной точки
threshold'ом берем только залитую часть
ее пририсовываем к оригиналу(или используем как маску)

медленно, канеш
возможно есть варианты и подешевле, но что-то у меня не сложилось, да и нужна была именно маска