Il metodo più diretto che ho in mente è il seguente. Anzitutto fissiamo un po’ di notazioni: siano A,B,C,D i quattro vertici del quadrilatero, con le loro coordinate (xA,yA), ecc…; ci proponiamo di verificare la convessità di ABCD. Scriviamo quindi le 4 equazioni della 4 rette AB,BC,CD e DA. Sia ax+by+c=0 l’equazione della retta AB; basta verificare che le coordinate di C e D verificano o ax+by+c>0 o verificano ax+by+c<0. Ciò geometricamente significa che i restanto punti C e D si trovano dalla stessa parte di piano rispetto alla retta AB. La stessa procedura va applicata sulla retta BC, sulla retta CD e sulla retta DA.
Il procedimento non è breve, ma è algoritmico. Se uno ha come dati iniziali le coordinate dei 4 vertici, scrive le equazioni delle rette in funzione delle sole coordinate dei punti e può impostare un programma al pc che verifichi le disuguaglianze che danno la convessità.
Se esiste una retta tale per cui i due punti restanti stanno da parti opposte, allora si tratta di un quadrilatero concavo.