In letzter Zeit habe ich eine Tensorflow-Portierung von pix2pix von Isola et al. gemacht, die in dem Artikel Bild-zu-Bild-Interpretation in Tensorflow behandelt wird. Ich habe ein paar vorbereitete Modelle genommen und ein intuitives Web-Ding gemacht, um ihnen eine Chance zu geben. Chrom ist vorgeschrieben.

Das pix2pix-Modell funktioniert über die Vorbereitung von Bildsätzen, z.B. Gebäudeaußennamen bis hin zu Baufurnieren, und bemüht sich danach, aus jedem Informationsbild, das Sie ihm geben, das entsprechende Ertragsbild zu erzeugen. Der Gedanke kommt direkt vom pix2pix-Papier, das ein anständig durchgelesenes

Erstellt auf ca. 2k Stockfotos von Katzen und Rändern, die natürlich aus diesen Fotos entstanden sind. Erstellt katzenschattierte Artikel, einige mit schlechten Traumgesichtern. Der beste, den ich zu diesem Zeitpunkt gesehen habe, war ein katzenartiger Betrachter.

Ein Teil der Fotos sieht besonders schrecklich aus, da es meiner Meinung nach einfacher ist, zu sehen, wenn eine Kreatur falsch aussieht, besonders um die Augen herum. Die automatisch erkannten Ränder sind nicht exzellent und identifizierten im Großen und Ganzen nicht die Augen der Katze, was sie zu einem Stück für die Vorbereitung des Bildinterpretationsmodells erschwert.

Vorbereitet auf einer Datenbank von Baufurnieren zur benannten Konstruktion von Außenbereichen. Es scheint nicht sicher zu sein, wie man mit einer enormen Hohlraumregion umgeht, aber für den Fall, dass man dort genügend Fenster anbringt, hat es häufig vernünftige Ergebnisse. Zeichnen Sie “Trennwände”, die quadratische Formen schattieren, um Dinge auszulöschen.

Mir fehlten die Namen der verschiedenen Teile der Baufurniere, also dachte ich einfach darüber nach, wie sie genannt werden.

Vorbereitet auf einer Datenbank von ~50k Schuhbildern, die von Zappos gesammelt wurden, neben Kanten, die auf natürliche Weise von diesen Fotos erzeugt wurden. Wenn Sie gut darin sind, die Kanten von Schuhen zu zeichnen, können Sie versuchen, einige neue Strukturen zu schaffen. Denken Sie daran, dass es auf echten Gegenständen vorbereitet ist, so dass bei der geringen Chance, dass Sie mehr 3D-Dinge zeichnen können, es besser zu funktionieren scheint.

Wie die letzte, die auf einer Datenbank von ~137k Schulranzenbildern aus Amazonien vorbereitet wurde, und die auf natürliche Weise Ränder aus diesen Fotos erzeugen. Der Zufall will es, dass Sie hier nicht eine Tasche, sondern einen Schuh zeichnen, und Sie erhalten einen seltsam fertigen Schuh.

Ausführung

Die Modelle wurden vorbereitet und mit dem Inhalt pix2pix.py von pix2pix-tensorflow verschickt. Die intelligente Demo ist in Javascript unter Verwendung der Canvas-Programmierschnittstelle erstellt und führt das Modell unter Verwendung des Datensatzsegments auf GitHub aus. Jedes der Segmente, die bei der ersten Nutzung von pix2pix entladen werden, sollte zugänglich sein. Die für die Verwendung von Javascript verwendeten Modelle sind unter pix2pix-tensorflow-models zugänglich.