Bu model 2024-06-13 tarihinde HF papers'ta yayımlandı ve 2024-07-05 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

Depth Anything V2

Genel Bakış

Depth Anything V2, Lihe Yang ve diğerleri tarafından aynı adlı makalede tanıtılmıştır. Orijinal Depth Anything modeli ile aynı mimariyi kullanır ancak çok daha ince ve sağlam derinlik tahminleri elde etmek için sentetik veri ve daha büyük kapasiteli bir öğretmen modeli kullanır.

Makalenin özeti aşağıdaki gibidir:

Bu çalışma, Depth Anything V2'yi sunar. Gösterişli teknikler peşinde koşmadan, güçlü bir monoküler derinlik tahmini modeli inşa etme yolunu açacak kritik bulguları ortaya koymayı hedefliyoruz. Özellikle, V1 ile karşılaştırıldığında, bu sürüm üç ana uygulama yoluyla çok daha ince ve sağlam derinlik tahminleri üretmektedir: 1) tüm etiketli gerçek görüntülerin sentetik görüntülerle değiştirilmesi, 2) öğretmen modelimizin kapasitesinin ölçeklendirilmesi ve 3) öğrenci modellerin, büyük ölçekli sahte etiketli gerçek görüntüler köprüsü üzerinden eğitilmesi. Stable Diffusion üzerine inşa edilen en son modellerle karşılaştırıldığında, modellerimiz önemli ölçüde daha verimlidir (10 katından fazla hızlı) ve daha doğrudur. Geniş senaryoları desteklemek için farklı ölçeklerde (25M'den 1,3B parametreye kadar) modeller sunuyoruz. Güçlü genelleme yeteneklerinden faydalanarak, metrik derinlik etiketleriyle ince ayarlarını yapıyoruz ve metrik derinlik modellerimizi elde ediyoruz. Modellerimizin yanı sıra, mevcut test setlerindeki sınırlı çeşitlilik ve sık görülen gürültüyü göz önünde bulundurarak, gelecekteki araştırmaları kolaylaştırmak için hassas etiketlere ve çeşitli sahneler sahip çok yönlü bir değerlendirme kriteri oluşturuyoruz.

Depth Anything modelleri nielsr tarafından katkı sağlanmıştır. Orijinal kod burada bulunabilir.

Kullanım örneği

Depth Anything V2'yi kullanmanın 2 ana yolu vardır: tüm karmaşıklığı sizin için soyutlayan pipeline API'sini kullanmak veya DepthAnythingForDepthEstimation sınıfını kendiniz kullanmak.

Pipeline API

Pipeline, modeli birkaç satır kodla kullanmanıza olanak tanır:

import requests
from PIL import Image

from transformers import pipeline


# load pipe
pipe = pipeline(task="depth-estimation", model="depth-anything/Depth-Anything-V2-Small-hf")

# load image
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)

# inference
depth = pipe(image)["depth"]

Modeli kendiniz kullanma

Ön ve son işlemleri kendiniz yapmak istiyorsanız, bunu nasıl yapacağınız aşağıda gösterilmektedir:

import requests
import torch
from PIL import Image

from transformers import AutoImageProcessor, AutoModelForDepthEstimation


url = "http://images.cocodataset.org/val2017/000000039769.jpg"
image = Image.open(requests.get(url, stream=True).raw)

image_processor = AutoImageProcessor.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf")
model = AutoModelForDepthEstimation.from_pretrained("depth-anything/Depth-Anything-V2-Small-hf", device_map="auto")

# prepare image for the model
inputs = image_processor(images=image, return_tensors="pt").to(model.device)

with torch.no_grad():
    outputs = model(**inputs)

# interpolate to original size and visualize the prediction
post_processed_output = image_processor.post_process_depth_estimation(
    outputs,
    target_sizes=[(image.height, image.width)],
)

predicted_depth = post_processed_output[0]["predicted_depth"]
depth = (predicted_depth - predicted_depth.min()) / (predicted_depth.max() - predicted_depth.min())
depth = depth.detach().cpu().numpy() * 255
depth = Image.fromarray(depth.astype("uint8"))

Kaynaklar

Depth Anything ile başlamanıza yardımcı olmak için resmi Hugging Face ve topluluk (🌎 ile belirtilen) kaynaklarının listesi.

• Monoküler derinlik tahmini görevi kılavuzu
• Depth Anything V2 demosu.
• DepthAnythingForDepthEstimation ile çıkarımın sergilendiği bir defter burada bulunabilir. 🌎
• Apple Silicon üzerinde kullanım için small varyantının Core ML dönüşümü.

Buraya bir kaynak eklemek isterseniz, bir Pull Request açmaktan çekinmeyin; inceleyeceğiz! Kaynağın, mevcut bir kaynağı tekrarlamak yerine ideal olarak yeni bir şeyi göstermesi beklenir.

DepthAnythingConfig

>>> from transformers import DepthAnythingConfig, DepthAnythingForDepthEstimation

>>> # Initializing a DepthAnything small style configuration
>>> configuration = DepthAnythingConfig()

>>> # Initializing a model from the DepthAnything small style configuration
>>> model = DepthAnythingForDepthEstimation(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

DepthAnythingForDepthEstimation

>>> from transformers import AutoImageProcessor, AutoModelForDepthEstimation
>>> import torch
>>> import numpy as np
>>> from PIL import Image
>>> from huggingface_hub.utils import httpx
>>> from io import BytesIO

>>> url = "http://images.cocodataset.org/val2017/000000039769.jpg"
>>> with httpx.stream("GET", url) as response:
...     image = Image.open(BytesIO(response.read()))

>>> image_processor = AutoImageProcessor.from_pretrained("LiheYoung/depth-anything-small-hf")
>>> model = AutoModelForDepthEstimation.from_pretrained("LiheYoung/depth-anything-small-hf")

>>> # prepare image for the model
>>> inputs = image_processor(images=image, return_tensors="pt")

>>> with torch.no_grad():
...     outputs = model(**inputs)

>>> # interpolate to original size
>>> post_processed_output = image_processor.post_process_depth_estimation(
...     outputs,
...     target_sizes=[(image.height, image.width)],
... )

>>> # visualize the prediction
>>> predicted_depth = post_processed_output[0]["predicted_depth"]
>>> depth = predicted_depth * 255 / predicted_depth.max()
>>> depth = depth.detach().cpu().numpy()
>>> depth = Image.fromarray(depth.astype("uint8"))