L'un des secrets les mieux gardés de cette toile réside dans la composition chimique de son jaune. Van Gogh a utilisé du "jaune de chrome", un pigment nouveau pour l'époque mais extrêmement instable. À l'origine, le ciel n'était pas d'un jaune orangé mat, mais d'un jaune citron éclatant, presque fluorescent. L'oxydation au fil du temps a assombri la toile, modifiant la balance chromatique voulue par l'artiste et rendant le soleil moins "aveuglant" qu'il ne l'était en 1888.
Un examen aux rayons X a révélé que sous cette scène champêtre se cachent des ébauches d'une toute autre nature. Van Gogh, manquant souvent de toiles neuves à Arles, réutilisait ses supports. Le Semeur a été peint sur une étude de nature morte, ce qui explique par endroits la texture inhabituelle du champ labouré. Cette superposition est le témoin silencieux de la pauvreté matérielle dans laquelle l'artiste produisait ses chefs-d'œuvre.
Le secret iconographique réside dans la position du Semeur. Bien que Van Gogh s'inspire de Millet, il a inversé le mouvement traditionnel. Dans la majorité des représentations de l'époque, le semeur avance de gauche à droite, symbolisant le progrès ou l'avenir. Ici, le semeur semble marcher à contre-courant de l'histoire de l'art, ou du moins dans une direction qui perturbe l'œil occidental, soulignant l'aspect révolutionnaire et "anti-académique" de la démarche de Vincent.
Le chapeau du semeur cache également une intention secrète. En y regardant de très près, les touches de bleu et de blanc ne sont pas là pour définir une matière, mais pour créer une vibration lumineuse. Van Gogh ne peint pas un chapeau de paille, il peint la réflexion de l'azote de l'air et de l'ombre portée du soleil. C'est une application directe de ses lectures sur l'optique, qu'il transformait en une forme de poésie visuelle instinctive.
Enfin, le secret le plus intime est lié à la correspondance de l'artiste. Van Gogh considérait ce tableau comme un échec partiel au moment de sa réalisation. Dans ses lettres, il exprime sa frustration de ne pas avoir réussi à rendre le violet du champ "assez électrique". Ce que nous considérons aujourd'hui comme un sommet de l'expressionnisme était, pour son créateur, un combat inabouti contre l'impossibilité de capturer la véritable intensité de la nature provençale.