Use ambos jQuery.checkbox y jQuery.field

Es probable que los dos complementos entren en conflicto entre sí, ya que el código que está utilizando es el mismo que el que se proporciona en los ejemplos individuales. Para limitar las casillas de verificación que se pueden seleccionar, puede intentar esto:

function setLimitSelection(){
    $("input[type=checkbox]").click(function(){
        var checkboxes_to_allow = 3;
        if($('input[type=checkbox]:checked').length == (checkboxes_to_allow+1)){
            //show error message
            return false;
        } else {
            //clear message
        }
    });
}

Creo que el código es lo suficientemente claro como para no necesitar comentarios.

Hola, creo que puedes resolver el problema con una pequeña variable de estado como checkfield:

var checkfield = false;

$("input[name ='name']").limitSelection({

limit: 3,
onfailure: function (n){
checkfield = true;
return false;
}
}).click(function (){
if (field6error)
{   
$(this).checkBox('changeCheckStatus', false);
checkfield = false;
alert("Not more than 3 values!")
return false;
}});