Максимальное количество десятичных знаков, которое можно использовать для корректного выставления ордера, отображаются в API в методе pair_settings в параметре price_precision.
Вам необходимо настроить свое программное обеспечение таким образом, чтобы при выставлении ордера учитывался критерий price_precision. В противном случае, операция будет автоматически отменена, вы получите ошибку.